英伟达发布 Cosmos 3 Edge：40 亿参数开放世界模型，让机器人在边缘设备上实时推理

type

status

date

slug

summary

引言：世界模型走向边缘设备

2026 年 7 月 20 日，英伟达在 Hugging Face 平台正式发布 Cosmos 3 Edge——一款 40 亿参数的开放世界模型。与依赖数据中心算力的大模型不同，这款模型专为内存受限的边缘设备设计，目标是让机器人、视觉 AI 智能体在工厂、仓库、医院等真实场景中就地完成理解、推理与动作生成。这一发布标志着物理 AI（Physical AI）从云端走向终端的关键一步。

事实梳理：Cosmos 3 Edge 是什么

Cosmos 3 Edge 是一款后训练的世界动作模型（World Action Model, WAM），也可以作为紧凑型视觉语言模型（VLM）使用。它的核心能力包括：

以机器人控制所需的 640×360 分辨率处理观测画面；

在 NVIDIA Jetson Thor 上实现单次推理生成 32 个动作，达到 15Hz 的实时控制频率；

在同规模（4B 参数）模型中，于 VANTAGE-Bench 视觉分析基准排名第一，并在机器人策略学习任务上达到当前最优水平。

所谓世界模型，是指能够学习环境如何随时间变化的模型：它表征物体、运动、空间关系以及动作产生的后果。例如，当机器人伸手抓取物体时，仅仅识别出物体只是第一步，它还需要理解物体位置、机械臂的运动状态、接触后可能发生的情况，以及哪个动作最有可能完成任务。Cosmos 3 Edge 把这些能力整合进单一模型，并且完全在设备端运行。

架构解析：双 Transformer 塔与统一动作表征

Cosmos 3 采用双塔架构：自回归塔负责处理视觉与文本 token，承担理解与推理；扩散塔负责处理视觉、音频和动作 token，承担预测、生成与神经仿真。两塔各自保留独立的归一化层与多层感知机，但共享多模态注意力层，以对齐语言、视频、音频与动作之间的信息。注意力模式也按信息类型适配：语言使用因果注意力，扩散 token 则关注更广泛的上下文。

更具创新性的是统一动作表征。不同物理系统对动作的描述方式完全不同：车辆用自车位姿，相机用相机运动，机械臂用末端执行器位姿，灵巧手还需要表征抓取状态。Cosmos 3 将这些差异映射为紧凑的几何向量，编码平移、旋转与操作状态，从而在控制信号与视觉结构之间建立直接联系。这意味着生成的视频不仅是视觉预测，还能表达“世界将如何响应某个动作”，为机器人训练提供扎根于运动、控制与因果关系的数据。

影响与用法：开发者能做什么

英伟达同步开放了完整的开发链路：

基础模型与后训练检查点已在 Hugging Face 的 Cosmos 3 仓库开放下载；

随模型发布的还有 Cosmos 3 Edge Policy（DROID），这是一个基于 DROID 数据集后训练的抓取放置类机器人操作策略，附带后训练脚本；

开发者可以使用小型 H100 集群或 NVIDIA DGX Station 对模型进行高效微调，再部署到 Jetson、RTX PRO、GeForce RTX 等边缘与加速计算平台，包括新发布的 Jetson T2000 与 T3000 模组。

此外，英伟达还发布了 Cosmos 3 Super 4 步蒸馏检查点，将扩散去噪步数从 35–50 步压缩到 4 步，推理速度最高提升 25 倍，同时保持图像与视频生成质量。这些参考实现展示了“开放基座 + 领域后训练”的工作流：开发者可以在保持输出质量的前提下，针对自身场景持续优化模型。

风险与限制

需要清醒认识的是，Cosmos 3 Edge 并非开箱即用的通用方案。首先，640×360 的观测分辨率虽然满足控制需求，但对精细操作场景可能仍显不足；其次，15Hz 实时控制是在 Jetson Thor 这一高端边缘平台上测得的，低端模组的实际表现尚需验证；第三，世界模型的仿真预测与真实物理世界之间存在天然的“现实差距”（reality gap），在安全关键的工业场景中仍需额外的验证与冗余设计；最后，后训练质量高度依赖领域数据，数据不足或偏差会直接影响策略可靠性。

结论

Cosmos 3 Edge 的发布体现了物理 AI 领域的一个重要趋势：世界模型正在从数据中心的演示走向真实设备的部署。通过双塔架构、统一动作表征和开放的训练生态，英伟达降低了机器人与视觉智能体开发的门槛。对于关注具身智能和边缘 AI 的开发者而言，这是一个值得立即评估的开放基座。后续其在交互式世界生成、驾驶场景仿真和机器人策略方向的演进，以及 vLLM 等推理框架的优化适配，都值得持续跟踪。