10小时数据实现跨形态迁移！SkeLAM重塑具身智能与大模型世界模型

type

status

date

slug

summary

category

icon

password

网址

在通用人工智能（AGI）与具身智能（Embodied AI）飞速发展的当下，如何让大模型（LLM）不仅具备文字与图像理解能力，更能理解物理世界并直接驱动机器人行动，已成为全球AI科研的前沿热点。长期以来，机器人学习面临着极其严峻的“数据荒”困境——真机采集遥操作数据成本极高，而互联网上浩如烟海的人类日常操作视频，却因形态、关节结构和场景外观的巨大差异，始终难以低成本转化为机器人可用的控制经验。

由哈尔滨工业大学（深圳）、新加坡国立大学 Show Lab 等顶尖团队联合提出的 SkeLAM（Skeleton-Grounded Latent Action Model），为这一难题带来了突破性解法。该研究基于预训练视频基座模型 Cosmos-Predict2.5-2B，仅仅利用约 10 小时的机器人交互数据，便在无需微调的前提下，实现了“零样本跨形态运动迁移”（Zero-shot Cross-embodiment Motion Transfer）。只要输入一段普通人手的操作视频，模型即可在目标场景中精准生成符合人类动作意图的机械臂交互视频。

关注最新 AI 资讯与前沿 AI 技术的从业者可以发现，这一研究不仅为具身智能提供了全新范式，更展示了大模型技术在物理世界表征上的无限潜力。欲了解更多深度前沿内容，欢迎持续关注专业 AI 门户与 AI 新闻平台 aigc.bar。

突破数据荒：10小时数据何以撬动海量人类动作先验？

在传统的机器人策略学习中，要想让机械臂学会“向下推毛巾”或“向上抽纸”等任务，往往需要在特定场景下进行数天乃至数周的示教轨迹录制。这种数据孤岛极大制约了具身大模型向更高泛化能力演进。

SkeLAM 换了一条截然不同的技术路线：将人类的第一人称或第三人称演示视频作为推理时的“提示词（Prompt）”与运动上下文。

在具体测试中，研究人员向模型输入一段人类演示视频（如来自 UniSkill 数据集的日常人手操作）以及一张机器人静态环境初始帧，RGB 编码器会自动提取潜在动作，驱动底座世界模型生成未来的动态画面。令人惊讶的是： * 当人手向下压推毛巾时，生成的机械臂亦步亦趋地向下探身； * 当人手变换为向上抽纸巾时，机械臂同样平滑转为抬升姿态。

整个推理过程中，底座大模型参数全部处于冻结（Frozen）状态，没有进行任何针对新场景或人手动作的参数微调。这证明了模型真正掌握了跨形态、跨语义的运动本质，打破了人手机械臂外观与自由度不匹配的物理屏障。

核心机理：骨架监督与潜在动作解耦

为什么过去的世界模型很难稳定实现跨形态动作迁移？核心难点在于运动与环境响应的纠缠。

机械臂向前直线移动，若途中推倒了一个杯子，画面会出现剧烈的水花与物体翻滚；若什么都没碰到，画面中仅有机械臂自身位移。如果把这些视觉变化统统压入同一个“潜在动作向量（Latent Action）”中，机器人的底层控制指令就需要迎合千变万化的动态环境，导致训练极易崩溃。

SkeLAM 创造性地引入了骨架监督（Skeleton-Grounded）机制：

运动与残差分量解耦：将画面变化拆解为代表机器人关节与骨骼运动的“运动分量”，以及保留物体变形、接触响应等视觉动态的“残差分量”。

显式拓扑结构约束：利用骨架解码器监督运动分量，强制其精准预测机器人关键点与连接关系的变化，使运动表征具备明确的物理参照。

跨模态交换重建（Cross-modal Swap Reconstruction）：在重建视频画面时，将视觉运动分量与骨架表示进行交叉置换，确保两者在潜在空间内高度对齐。

轻量化动作适配器（Action Adapter）：设计了一个参数极小的映射网络，将真实的机器人关节控制指令直接对齐到训练好的运动隐向量上，使物理控制信号与视频生成实现无缝对接。

性能跃升：轨迹误差降低19.5%的实测表现

在机器人领域权威基准 DROID 的严苛评测中，SkeLAM 展示出了显著优于现有前沿方案（如 DreamDojo）的控制与生成质量：

末端轨迹平均位移误差（ADE）：从基准模型的 51.11 像素大幅下降至 41.15 像素，误差降幅达到 19.5%，表明其生成的轨迹能够极其贴合物理运动规律。

视觉感知距离（LPIPS）：从 0.1473 降低至 0.1310，画面失真降低了 11.1%，有效避免了生成画面中机器人末端漂移、桌面几何变形或背景虚焦等常见缺陷。

这些定量指标充分印证，骨架监督有效剥离了无关视觉噪声，让世界模型专注于理解几何拓扑与位姿变换，从而在保持高逼真度画面渲染的同时，输出高度符合物理规律的操作序列。

迈向AGI：海量互联网视频成为具身智能新燃料

SkeLAM 的诞生不仅是一项算法创新的突破，更为通用人工智能在物理交互领域的发展树立了重要路标。

长期以来，视频生成大模型（如 Sora、Runway 等）被广泛讨论是否具备理解真实世界物理规律的“世界模型”属性。SkeLAM 证明了：通过合理的骨架先验与运动解耦设计，仅需 10 小时级别的极少真机交互数据，便能激活百亿级视觉大模型内置的时空先验。

未来，数以亿计的 YouTube 视频、第一视角烹饪教程、工厂流水线手工作业录像，都不再只是被动的观看素材，而是能被自动转化为机器人具身学习的“数字化训练集”。虽然目前该技术在面对超复杂接触力学、高刚度摩擦以及长序列多步骤规划时仍有待深化，但其展现的跨形态泛化能力，已经为机器人策略的仿真、闭环评估与策略泛化打开了极其开阔的空间。

想掌握第一手 AI 新闻、大模型发展趋势及具身智能前沿报告？敬请收藏并访问专业的中文 AI 日报与综合资讯门户 aigc.bar，探索前沿人工智能带来的无限变革。