会通过画面、动作和声音作出响应的虚拟世界
谷歌DeepMind公布了Genie 4，这是一款实验性人工智能模型，能够生成包含声音、对话和不断变化的物理环境的交互式虚拟世界。该模型于美国时间10月27日发布，目前仅向一小群可信测试者开放；谷歌计划通过Project Genie、Gemini API和Google AI Studio逐步开放访问。
目录
谷歌表示，Genie 4能让场景保持一致，最长可达两分钟，是其前代产品Genie 3所称约一分钟时长的两倍。在此期间，用户可以在环境中移动、改变天气、加入人物或物体，还能听到角色根据发生的事情作出回应。
Alphabet和谷歌首席执行官桑达尔·皮查伊在宣布推出研究预览版时这样描述该模型：
我们迄今最逼真、交互性最强的世界模型
最大的新增功能是原生音频，也就是说，声音作为模拟体验的一部分生成，而不是事后添加。随着世界变化，风声、海浪声、背景音乐和对话都可以随之出现。谷歌还称，模型在人物动作以及碰撞、空气动力学等物理效果模拟方面也有所改进；空气动力学指空气对运动物体的影响。
谷歌将这项技术定位于电影筹划、游戏开发、教育，以及在机器人或AI智能体进入真实环境前对其进行训练。它眼下的局限同样很实际：场景持续时间较短，物体可能意外变化，场景中的文字可能难以辨认，音频准确性也仍有待解决。
交互式世界与生成视频有何不同
Genie可以根据文字描述或图像生成一个供用户探索的环境。传统生成视频遵循一段供观众观看的序列；世界模型则会根据用户的行动，持续生成接下来发生的内容。
用户可以通过键盘操控角色并调整摄像机位置。在系统运行时，用户还能通过文字指令改变环境，例如更改天气、添加角色或移动视角。系统随后必须生成新的画面来反映这些变化。
谷歌将这一过程描述为逐帧生成体验。模型无需预先准备好所有可能的交互内容，而是会预测有人在场景中采取行动后，场景应如何继续发展。
因此，保持连贯性成为一项核心挑战。实用的模拟需要记住物体的位置、人物的移动方式以及已经发生的事情。如果场景看起来逼真，却在用户转身时改变布局，其实用性就会大打折扣。
音频让角色成为交互的一部分
Genie 4为这个不断变化的视觉世界加入了环境音、音乐和语音。谷歌表示，音频可以与生成的地点相匹配，例如风吹过树林的声音，或海浪拍打海岸的声音。
角色还可以根据用户输入和模拟中的事件作出回应。对话会随情境变化，而不是播放固定的音轨。用户在提示中既可以指定视觉元素，也可以指定音频元素。
谷歌表示，人物形象在其他方面也有所改善，动作更加自然，且能对周围环境作出反应。在模拟持续运行时，用户可以指挥人物行动，从而在同一交互过程中控制角色行为并编辑场景。
团队承认，音频准确性仍是一个需要解决的问题。对于筹划场景或互动练习的人来说，实际要求是：随着动作变化，语音和环境音仍能保持恰当。
Gemini负责规划，Genie负责生成
谷歌进一步加强了Gemini系列AI模型与Genie 4的协作。两者各司其职：Genie生成模拟世界，Gemini则帮助引导事件发展，并检查结果是否符合预期计划。
Gemini Omni支持环境外观与行为的生成。Gemini 3.8 Flash负责监测输入画面、将目标拆解为更小的步骤、检查行动是否成功，并在场景变化或用户介入时调整计划。
简单来说，系统的一部分负责生成下一个视图，另一部分则监测目标的推进情况。这种安排旨在让事件按合理顺序发展，尤其适用于需要多个动作而非一次即时响应的任务。
谷歌研究总监Tejas Kulkarni在一次简报会上谈到了公司的长期构想：
未来我们会越来越多地看到这种混合式世界模型：Gemini负责编写代码和文本，Genie则实时接收这些内容，并在不同抽象层级上模拟现实。
这一设想将语言、代码和视觉模拟结合起来。Genie 4已经在有限范围内采用这种分工：用户探索世界时，Gemini会协助引导正在生成的场景。
谷歌为何希望机器人在其中进行练习
谷歌DeepMind正在测试Genie 4能否为机器人和AI智能体提供训练环境。智能体是一种软件，它通过选择行动、检查结果并决定下一步做什么来实现目标。
在一项与Gemini Robotics相关的实验中，Gemini 4 Argon将任务拆解为多个步骤，再由Genie 4实时模拟。实验旨在探索机器人在现实世界中尝试复杂工作之前，可能会如何完成这些工作。
谷歌表示，虚拟环境可以重现现实中难以遇到或安排的情境。开发者可以改变条件并观察智能体如何应对，而不必为每种变化都重新搭建实体测试场地。
谷歌声称在碰撞和空气动力学方面取得的改进，对这一用途尤其重要。训练需要行动与结果之间存在有用的关联，例如物体接触后如何移动，或环境如何响应运动。谷歌承认，复杂的物理交互对该模型来说仍然是一项挑战。
电影筹划提供了更直接的用途
可信测试者指出，电影原型制作和快速故事板制作可能是这项技术的应用方向。故事板会在拍摄前规划镜头序列。创意团队可以借助Genie 4探索摄像机位置、角色动作和氛围变化，让创意在形成过程中不断得到呈现。
谷歌DeepMind工程师Diego Rivas在媒体简报会上解释了即时响应为何在这一阶段有所帮助：
实时特性最有价值的地方，是能够让创作过程中的心流状态得以延续。
Rivas举出了构思和故事板制作的例子。它的实际优势在于速度：创作者可以改变场景并探索结果，无需停下来为每种变化单独准备一段内容。
谷歌还提供Veo，可根据提示生成带有同步音频的视频片段。Rivas谈到一种未来的可能性：Gemini Omni或许能帮助将原型转化为创意素材，但他也表示，这些能力距离实现仍有一段时间。
游戏和交互式教育也是提出的用途。它们的共同特点是场景会根据参与者的行动作出响应，而不是每次都以相同方式播放的成品媒体。
两分钟的连贯性仍是个紧迫限制
据称，Genie 4可保持连贯性的时长为两分钟，是Genie 3约一分钟上限的两倍。这让用户有更多空间探索创意，但连续活动的时长仍受到限制。
谷歌表示，随着模拟运行，物体和视觉细节可能逐渐偏移。物体的外观或位置可能发生变化，系统也可能无法记住场景最初的样子。因此，即使有Gemini协助维持连贯性，更长时间的模拟仍然困难。
世界中生成的文字也可能难以辨认。对于涉及标志、说明或其他需要人阅读的文字的场景，这会带来具体问题。
谷歌将Genie 4称为一款早期实验性模型，并正与来自不同领域的测试者合作。Rivas表示，最终完整的产品体验仍在探索之中。目前，实用体验主要集中于短时实验，而视觉连贯性、物理行为和声音都还有待进一步改进。
谁能使用，费用是多少？
Genie 4的研究预览版已向可信测试者开放。谷歌计划通过Project Genie向Google AI Ultra订阅用户开放消费者访问权限，并通过使用Gemini API和Google AI Studio的早期访问合作计划向开发者开放。
谷歌表示，这些服务即将推出，预计将在未来几周内逐步开放，但尚未给出确切日期。Project Genie目前接受候补名单登记。API访问权限可让开发者将模型接入自己的软件；AI Studio则提供了一个试用谷歌模型的平台。
据介绍，Google AI Ultra套餐起价为每月100美元。Genie 4的开发者专属定价尚未公布。通过AI Pro和AI Plus开放访问曾被作为之后可能扩大的范围讨论，但尚未确定为首发安排。
谷歌表示，生成的视频和音频将带有SynthID，这是该公司用于识别AI生成内容的数字水印。随着这些模拟体验向更多用户开放，这种标记旨在帮助识别由该系统生成的内容。
从Genie 3到更广泛的模拟技术竞逐
Genie 4延续了谷歌逐步向研究演示之外开放世界模型的进程：
- 2025年8月：谷歌DeepMind发布Genie 3。
- 2026年1月：谷歌开始使用该模型测试Project Genie。
- 2026年5月：谷歌宣布与Street View集成。
- 美国时间10月27日：谷歌发布Genie 4及其初步研究预览版。
竞争也正扩展到带有声音的交互式场景。Runway在Genie 4发布前几个月推出的GWM Worlds 2能够响应用户行动，并具备音频生成功能。
业内其他动向也显示，人们对用于AI开发和物理系统的模拟技术日益关注。Rivian收购了Third Dimension，以将模拟能力引入其车辆测试工作。据报道，AMD收购World Labs、亚马逊洽谈收购Decart，也让世界模型技术成为更大规模交易活动的一部分，不过亚马逊方面目前仍处于洽谈阶段。
谷歌最新推出的这款实验系统，将场景生成、对话和Gemini规划结合起来。下一步的具体进展是扩大开放范围，让更多创作者和开发者检验模型能否可靠地处理哪些短时任务。
要点
- 谷歌DeepMind于美国时间10月27日发布Genie 4，首批用户为可信测试者。
- 该模型能生成带有环境音、音乐和响应式语音对话的交互式世界。
- 谷歌表示，场景最多可保持两分钟连贯性，是Genie 3约一分钟上限的两倍。
- Gemini模型可协助规划行动、监测生成的场景并调整模拟。
- 计划用途包括电影故事板制作、游戏、教育和机器人训练。
- 物体可能发生偏移，文字可能难以辨认，复杂物理效果和音频准确性仍是研发难题。
- 谷歌计划通过Project Genie、Gemini API和Google AI Studio开放访问，但尚未公布确切的开放日期或开发者定价。
