Genie 4是Google DeepMind在2026年10月27日发布的实时交互世界模型,首次在实时世界模型里原生生成音频,画面里的人物可以边走边说话,环境声也随场景一起生成。它目前只面向受信任测试者开放研究预览,接下来会先提供给Project Genie里的Google AI Ultra订阅用户,以及Gemini API和Google AI Studio的早期合作伙伴,普通用户需要先加入等候名单。
键盘加一句话,就能改正在跑的世界
Genie 4的世界不是先渲染好再播放的视频,用户可以用键盘控制行走和镜头,同时用文字提示实时改动场景,比如换天气、挪镜头、加一个人或一件物品。Gemini会把提示贴合到当前场景,并在两次输入之间持续推进世界。
Gemini 3.8 Flash在其中扮演引导智能体,持续观察画面,把目标拆成步骤,再逐帧检查每一步是否完成,用户中途干预时也能当场调整计划。这让多步骤事件有了更可靠的因果链,适合先在模拟世界里试AI系统的反应。
声音不是后期配上去的
Genie 4把音频当成世界本身的一部分来生成。风声、海浪声这类环境声随场景实时出现,人物对话则会根据用户输入和场景事件即时变化,而不是对着固定台词念。
人物动作更自然,会对环境作出反应,也能被实时引导;空气动力学、碰撞等物理场景也纳入模拟。生成内容会带上SynthID水印,覆盖视频和音频。
机器人训练先用上,影视和游戏也在试
受信任测试者来自创意、新闻、教育、游戏和工程等领域。电影人把它当成实时预演的草稿模式,同一场戏可以反复换机位、灯光、对白和动作;新闻摄影方向在试把一张二维历史照片变成可进入的模拟环境;游戏开发者则用它在不写引擎代码的情况下,快速验证视觉风格和交互玩法。
对机器人和智能体,价值更直接:Genie 4能快速生成训练场景。DeepMind还展示了Gemini 4 Argon拆解任务、Genie 4实时渲染的试验,让人形机器人Apollo在模拟里下跳棋。
先别把它当成成品世界
DeepMind同时坦承了短板。短会话里环境能保持连贯,但运行时间变长、提示改动变多、场景里走得更远之后,视觉细节和物体恒常性仍会漂移。复杂物理交互、实时音频准确度、清晰文字渲染、空间准确度和长期一致性,都还在研究中。也就是说,Genie 4现在更适合试想法、做预演和训练,而非直接交付稳定可用的虚拟世界。