Gemini Omni 1.1 Flash 发布,为开发者提供更强生成式视频控制
Gemini Omni 1.1 Flash lets you build with more control
Google 推出 Gemini Omni 1.1 Flash,为开发者提供更强的生成式视频控制能力。新模型支持场景扩展(可分析最多 10 秒先前上下文,以 10 秒为增量累计延长至 40 秒)、指定首尾帧生成平滑过渡,以及 4K 高清输出。
360p 预览的成本降到 720p 的三分之一并提速最多 60%,让视频生成的前期探索可以低成本多版本比较,改变的是创意工具迭代的节奏。
Omni 现在可提供工作室级视频制作能力,包括扩展场景、首尾帧插值、清晰的 4K 超分辨率、更快的原型制作等。

我们推出 Gemini Omni 1.1 Flash,这是面向开发者的生产就绪更新,提供对生成式视频更强的控制能力。你现在可以扩展场景、指定起始帧和结束帧以实现平滑过渡,并生成高分辨率 4K 输出。今天就可以通过 Google AI Studio 或 Gemini Enterprise Agent Platform 访问该模型,开始构建。
- “Gemini Omni 1.1 Flash”让开发者对生成式视频项目拥有更强的控制能力。
- 将场景扩展至最长 40 秒,同时提升视觉一致性和叙事流畅度。
- 设置起始帧和结束帧,打造平滑、专业的镜头运动和转场。
- 使用 360p 预览加快迭代速度,并在创作过程中节省成本。
- 将最终项目超分至 4K 分辨率,呈现精致、专业的效果。
Google 刚刚发布了 Gemini Omni 1.1 Flash,为开发者提供了更好的工具,用 AI 创建和编辑视频。它让你可以扩展视频片段、控制镜头运动,并制作高质量的 4K 素材。开发者还可以创建快速、低分辨率的草稿,以更快、更省钱地测试自己的想法。对于任何构建创意视频软件的人来说,这都是向前迈出的一大步。
今天,我们推出 Gemini Omni 1.1 Flash,这是一套全新的创意控制与生成式视频能力,旨在为开发者提供支持。Gemini Omni 将真实世界推理引入生成式创作,而今天的更新让 Omni 1.1 通过 Google AI Studio 中的 Gemini API 达到可用于专业用途的生产就绪状态。
无论你是在构建生成式视频工作流、创意工具,还是媒体编辑软件,这些更新都让生成式视频更可控、迭代更快,并且更加精致,适合真实世界的部署。以下是新功能的概览:
延长场景,讲述更长的故事
场景延长功能让你可以拿一段现有视频,从它结束的地方无缝继续生成画面。
借助 Omni 1.1,模型现在可以分析最多 10 秒的先前上下文——相比此前只能参照最后一秒的模型是一大飞跃。其结果是视觉一致性和叙事贴合度得到提升,让你能够构建更长的故事,或分叉进入新的创作方向。你可以按 10 秒为增量延长视频,累计总长度最多可达 40 秒。
提示词 1:镜头轻微平移,现在我们看到她正在和一个卷发男子说话,我们看到男子的背影,他说“我也看到了”,戏剧性配乐
提示词 2:镜头缓慢拉远,被遗忘的尘土飞扬的地下墓穴,戏剧性配乐。
提示词 3:镜头缓缓拉出,一座浩瀚的图书馆,书架与书籍在布满尘埃的虚空中失重漂浮,配以戏剧性的配乐。
提示词 1:延续视频。执行一个电影级的希区柯克变焦(推拉变焦)镜头。镜头向前推近,同时变焦拉远,使角色凝固的震惊面容始终锁定在完全相同的大小。背景中由石柱构成的长廊在强烈的光学透视畸变下戏剧性地拉伸并加深。干净的架构,连续不间断的镜头。
提示词 2:延续视频。镜头以快速的机械式急推变焦直接推入角色睁大的双眼。风格化的电影级镜头控制。
提示词 3:延续视频。时间完全凝固成一个静止的瞬间:角色,以及他被风吹起的衣袍。镜头围绕凝固的角色进行平滑、高速的 360 度环绕旋转,在柱廊间展现出戏剧性的 3D 纵深与视差效果。完美的连贯性。
提示词 1:穿蓝色毛衣的男人回答道:“你父亲也出海坐船去了吗?”
提示词 2:镜头以一个连续的运动向后拉远,他继续讲述自己的故事:“他过去常说,这个港湾是有灵魂的。而那些船是我们的一部分。”音乐渐强。
提示词 1:他直视镜头,讲述最终章将以什么作为结尾!
提示词 2:随后他站起身,绕过桌子走向镜头,说道:“你会怎么选?”
以下是如何使用 Gemini API 扩展你的场景:
from google import genai
client = genai.Client()
interaction = client.interactions.create(
model="gemini-omni-1.1-flash",
previous_interaction_id=previous_video_interaction.id,
input=[
{"type": "text", "text": "Continue the scene."}
],
response_format={
"resolution": "360p",
},
)
指定首帧和末帧
通过指定镜头的起始帧和结束帧,实现平滑的转场和运镜。Omni 1.1 会在两个关键帧之间生成连续视频,非常适合复杂的环绕运镜、变焦转场或无缝循环片段。
提示词 1:一个低角度特写镜头,一位身着米色西装、风格时髦的鼓手正在宏伟的大厅里演奏一套红色架子鼓,随后镜头快速横摇至一侧,展现出一位年长的萨克斯手正在演奏,身旁一位身着白色服装的芭蕾舞者在柔和的紫色舞台灯光下旋转。一个连续镜头,无跳切。
提示词 2:镜头拉近至电视屏幕,我们看到同一位女性和开头相同的场景。无缝视频。一个连续镜头,无跳切。
以 360p 更高效地生成视频草稿
以 360p 分辨率生成轻量级预览,速度最高可提升 60%*,成本仅为 Omni 1.1 标准 720p 分辨率的三分之一。这对于快速原型设计、分镜迭代以及在开发者平台中快速渲染非常有帮助。
*基于 360p 与 720p 分辨率的系统吞吐量对比,生成速度最高可提升 60%
提示词:虹彩海洋硅藻的微观视图,展现出精巧如玻璃般的硅质外壳,以及令人惊叹的自然对称之美。色彩从深火山琥珀色、暖铜色,过渡到鲜艳的绿松石色与紫罗兰色,仿若大地与海洋的丰富调色板。微小而精致的结构在纯净的暗场背景上散发着柔和的光芒。高保真科学成像,锐利的细节,有机质感,显微摄影。在整个视频中始终保持显微镜镜头效果。
可放大至 4K 分辨率
借助 Omni 1.1 生成精致的高分辨率 1080p 或 4K 输出,可直接用于专业制作。
提示词 1:鱼儿游动,跟踪镜头
提示词 2:一只小花栗鼠从画面左侧的树林中窜出,好奇地嗅着空气,随后从画面右侧飞奔出画
提示词 3:电影级微距特写,纤细枝条上鲜艳的金橙色日本枫叶,在柔和而有节奏的秋风中轻轻沙沙作响、摇曳生姿。阳光透过半透明的叶片洒落,营造出温暖而熠熠生辉的效果。浅景深,梦幻散景背景,超精细质感,照片级真实,4k。
在多模态输入中添加视频参考
在构建场景时,可参考最长三秒的视频,让你能够基于视频参考保持视觉上下文和角色一致性。
提示词:使用上传的三段舞者视频,将其中的舞者替换为所提供的角色。让他们分别表演参考视频中各自的舞蹈,全部一起置于所提供图像中的那片开阔大空间里。
狗狗角色 dog.png 应表演 dance3.mp4 中的古典舞。章鱼 octo.png 应表演 dance1.mp4 中的嘻哈舞,而熊 bear.png 应表演 dance2.mp4 中的霹雳舞。最终结果应为一个连续镜头,没有场景切换。
激发你创作灵感的构想
以下是一些构想,展示开发者如何将这些新能力应用于自定义工具和创意工作流中。
在这款应用中,你可以放入首帧和末帧,借助预设或提示词框生成它们之间的过渡,这得益于 Omni 的全上下文推理能力,让你获得看起来真实的运镜效果。
这款应用让镜头穿行于各个房间。它划出弧线,推近,拉远。它以令人向往的状态、在一天中最完美的时刻展示这处住宅。它不会添加任何并不存在的家具或细节。
创作者在敲定最终版本之前,往往已经生成了好几段视频。Draft Room 让这种探索变得低成本且有章法:以 360p 生成 3-4 个草稿变体,每次只改变一个变量,并将它们并排比较。
看看客户如何将 Omni Flash 投入生产使用
我们的客户已经在通过 Agent Platform API 使用 Gemini Omni Flash 驱动真实世界的生产。探索他们创作的视频,并在下方了解他们如何使用该模型。
Adobe 将 Gemini Omni Flash 集成到了 Adobe Firefly 中。观看这段视频,了解其视频编辑能力。
“Gemini Omni Flash 是 Figma Weave 中可用的最强大的视频模型之一,在 Figma Weave 中,画布帮助创意团队在每一次生成的基础上继续创作——附加参考素材、分支不同版本,并塑造出独一无二的作品。借助扩展功能、更丰富的参考素材以及 4K 分辨率,Gemini Omni Flash 让团队超越了生成视频,真正实现了对视频的执导。”——Itay Schiff,Figma Weave 创意总监。
“在 GMI Cloud,我们为创作者提供对全球最强大模型的集中访问。Gemini Omni Flash 的突出之处在于其准确性:细节经得起推敲。对于制作教育和解释性内容的客户来说,内容准确至关重要,这种可靠性比任何单一功能都更重要。Omni 让 AI 视频对之前无法依赖它的细分群体变得可行。”——Louisa Guo,GMI Cloud 营销副总裁。
“Omni Flash 自然地融入了人们使用 Runway 的现有方式:从提示词、图像或视频开始,然后在此基础上生成或编辑。这是我们的用户在想法之间快速切换的又一种方式。”——Jamie Umpherson,Runway 首席创意官。
立即使用 Gemini Omni 1.1 Flash 构建

Gemini Omni 1.1 Flash 定价表。
Omni 1.1 正在整个 Google 开发者生态系统中逐步推出:
- 在 Google AI Studio 中开始构建: 直接在 Google AI Studio 中试用 Omni 1.1。
- 在 Gemini Enterprise Agent Platform 上部署: 企业开发者可以在 Gemini Enterprise Agent Platform 上部署 Omni 1.1。
- 探索开发者文档: 查看 官方文档、cookbook 和 提示词指南,了解如何将场景扩展、视频参考和放大功能集成到你的应用中。
从今天起,全球所有 Google AI Plus、Pro 和 Ultra 订阅用户也可以在 Google Flow 中使用 Omni 1.1。全球所有 Google AI Plus、Pro 和 Ultra 订阅用户均可在 Gemini 应用 中使用场景扩展功能。
来源:Google DeepMind:Blog(RSS) · deepmind.google