AI导航

Genie 4发布:Google世界模型能实时出声对话了

AI资讯
2 min read
11 次阅读

Genie 4是Google DeepMind在2026年10月27日发布的实时交互世界模型,首次在实时世界模型里原生生成音频,画面里的人物可以边走边说话,环境声也随场景一起生成。它目前只面向受信任测试者开放研究预览,接下来会先提供给Project Genie里的Google AI Ultra订阅用户,以及Gemini API和Google AI Studio的早期合作伙伴,普通用户需要先加入等候名单。

键盘加一句话,就能改正在跑的世界

Genie 4的世界不是先渲染好再播放的视频,用户可以用键盘控制行走和镜头,同时用文字提示实时改动场景,比如换天气、挪镜头、加一个人或一件物品。Gemini会把提示贴合到当前场景,并在两次输入之间持续推进世界。

Gemini 3.8 Flash在其中扮演引导智能体,持续观察画面,把目标拆成步骤,再逐帧检查每一步是否完成,用户中途干预时也能当场调整计划。这让多步骤事件有了更可靠的因果链,适合先在模拟世界里试AI系统的反应。

声音不是后期配上去的

Genie 4把音频当成世界本身的一部分来生成。风声、海浪声这类环境声随场景实时出现,人物对话则会根据用户输入和场景事件即时变化,而不是对着固定台词念。

人物动作更自然,会对环境作出反应,也能被实时引导;空气动力学、碰撞等物理场景也纳入模拟。生成内容会带上SynthID水印,覆盖视频和音频。

机器人训练先用上,影视和游戏也在试

受信任测试者来自创意、新闻、教育、游戏和工程等领域。电影人把它当成实时预演的草稿模式,同一场戏可以反复换机位、灯光、对白和动作;新闻摄影方向在试把一张二维历史照片变成可进入的模拟环境;游戏开发者则用它在不写引擎代码的情况下,快速验证视觉风格和交互玩法。

对机器人和智能体,价值更直接:Genie 4能快速生成训练场景。DeepMind还展示了Gemini 4 Argon拆解任务、Genie 4实时渲染的试验,让人形机器人Apollo在模拟里下跳棋。

先别把它当成成品世界

DeepMind同时坦承了短板。短会话里环境能保持连贯,但运行时间变长、提示改动变多、场景里走得更远之后,视觉细节和物体恒常性仍会漂移。复杂物理交互、实时音频准确度、清晰文字渲染、空间准确度和长期一致性,都还在研究中。也就是说,Genie 4现在更适合试想法、做预演和训练,而非直接交付稳定可用的虚拟世界。

推荐工具

NVIDIA Chat with RTX AI聊天 Chat with RTX 是 NVIDIA 面向 RTX 电脑的本地 AI 聊天工具,可围绕本地文档和视频资料做问答,适合重视隐私、离线检索并具备硬件条件的用户更适合资料不便上传云 HuggingChat AI聊天 HuggingChat 是 Hugging Face 的开源模型聊天应用,支持 Omni 自动选模型,也可手动选社区开放模型对话。它适合体验开源模型、技术探索和问答,结果可能不稳定,重要内容需复核。 纳米AI搜索 AI搜索 纳米AI 是 360 旗下 AI 搜索和智能体入口,支持文字、语音、拍照提问、多模型协作与内容创作,适合中文用户做日常搜索、学习问答、移动查询、热点追踪、生活决策、知识整理和轻量创作。 Qwen Chat(通义千问) AI聊天 Qwen Chat 是Qwen 大模型聊天助手,支持Qwen 模型聊天、写作和编程问答,适合中文用户和开发者完成 AI 对话、资料问答和任务协作,适合上线前核对权限、成本和资料质量。 DuckDuckGo AI Chat AI聊天 DuckDuckGo AI Chat 适合重视隐私的普通用户使用,围绕隐私 AI 聊天、免账户使用和多模型问答提供对话式 AI 支持和任务协作能力,适合上线前核对权限、成本和资料质量。 Goody-2 AI聊天 Goody-2 是以极端安全和伦理对齐为特色的 AI 聊天助手,常用于观察模型拒答边界、内容安全策略、保守输出体验和 AI 风险讨论,更适合作为安全边界样本使用前应理解它偏实验性质,不适合。