英伟达Cosmos3-H-Dreams把生成式手术模拟推进到了真实临床场景。2026年10月20日，英伟达在Hugging Face官方博客发布这个动作条件世界模型：它用CMR Surgical Versius机器人平台上的临床胆囊切除手术录像和同步的机器人运动数据训练，给一张起始内窥镜画面和器械动作指令，就能实时生成接下来会看到的画面。英伟达称，据其所知，这是首个用临床胆囊切除录像训练、且支持实时运动学控制的生成式手术模拟器。
从桌面缝合练习到腹腔里的真实组织
上一代Cosmos-H-Dreams只能在桌面环境里模拟dVRK系统的缝合练习，背景简单、动作可控。腹腔里完全是另一回事：器械一动，组织被牵拉变形、反光变化、结构互相遮挡，电刀的烟雾还会挡住视线，小误差随时间累积，器械形状和解剖结构会慢慢漂移。新模型以160亿参数的Cosmos3-H-Embodied-Nano为基座，专门筛选同时出现两件器械的片段——左手Cadiere抓钳、右手单极钩，用28维动作描述双臂姿态、夹爪和能量控制，训练视频为832×480分辨率、动作以10Hz对齐。
实时靠的是蒸馏，不只是堆算力
训练先让双向教师模型学会预测未来24帧、再扩展到72帧，然后把教师蒸馏成能按动作流逐段生成视频的因果学生模型，并用Self-Forcing让学生拿自己的生成结果继续训练，压制长程误差；运行时靠FlashDreams流式推理库和FadeMem整理不断增长的注意力历史。发布的两个检查点一个用四步去噪换画质，一个用两步换速度；据其模型卡，在单张RTX PRO 6000上、832×480下分别约30和43帧每秒。
定位写得很清楚：研究模拟器，不是临床系统
英伟达在文末专门强调，Cosmos3-H-Dreams是研究用模拟器，不是经过验证的患者诊疗系统，画面逼真只是验证的起点，不等于生物力学准确。它的现实用途是给手术机器人研究者一个低成本的交互环境：评估控制策略、生成合成训练数据、探索没见过的器械轨迹。下一步要做的事也列得很实：覆盖胆囊手术的完整流程、把生成仿真和数值仿真结合、请外科医生参与评估。在这些验证完成之前，它离手术台还有明确的距离。
