.png?table=collection&id=cbe6506e-1263-8358-a4d7-07ce62fcbb3f&t=cbe6506e-1263-8358-a4d7-07ce62fcbb3f){kind=small}
ARTICLE SIGNAL
港科广开源Motion Forcing：一图生成不穿模自动驾驶视频登顶Waymo
港科大广州团队开源Motion Forcing框架,实现一张照片加轨迹生成物理合理且不穿模的驾驶视频,Waymo实测物理合理性位居第一,推动世界模型与自动驾驶仿真发展。
type
status
date
slug
summary
tags
category
icon
password
网址
在自动驾驶系统向完全自动驾驶迈进的征途上，采集和复现“长尾场景（Corner Cases）”始终是行业公认的痛点。像恶劣天气下的突发加塞、前车紧急变道避险等危险极限瞬间，不仅在真实道路上罕见，而且专门实测采集成本极高且伴随巨大安全隐患。
随着生成式人工智能和大模型技术的突飞猛进，利用AI生成高逼真仿真驾驶视频成为前沿探索方向。然而，以往的文生视频与图生视频模型在面对复杂动态交互时，往往暴露出严重的“物理漏洞”：车体相互穿模穿透、被遮挡物体凭空消失、碰撞与制动完全违背牛顿力学。
近日，来自香港科技大学（广州）陈颖聪教授团队联合香港科技大学的研究人员，提出了一项名为 Motion Forcing 的创新框架，彻底改变了这一现状。该模型仅凭一张静态行车图片和简要的控制轨迹，即可生成物理合理、绝不穿模的高保真自动驾驶视频。在业界公认的Waymo公开数据集基准评测中，其动作连贯性与物理合理性两项关键指标均斩获第一，相关代码与模型已全面开源，引发了全球AI新闻与自动驾驶学术界的广泛关注。
为什么现有视频大模型在复杂驾驶中频繁“穿模”？
在当前的AI前沿领域，通用视频生成大模型（如主流扩散模型和自回归架构）在画质细腻度、光影渲染上已经逼近电影级质感，但一旦放入高动态、严逻辑的自动驾驶场景，就容易迅速“露馅”。
港科广团队深入分析后指出，问题的根本在于传统模型将两件截然不同的任务混淆在一起：
1. 物体如何运动（速度、加速度、转弯半径、两车相对距离与避让逻辑）；
2. 物体长什么样（反光、车漆材质、树影掠过、地面水渍纹理）。
对于神经网络而言，生成逼真的静态纹理远比学习刚体动力学规律容易得多。在混合训练的损失函数驱动下，模型会本能地优先讨好“视觉感知”，而牺牲了“物理空间规律”。此外，行车记录仪视角本身具备自车运动，画面中其他车辆的位移既包含自车视角变动，又包含目标本身的运动，导致模型极易产生认知混乱。
如果仅仅依靠给视频扩散模型输入几条简单的二维轨迹线作为条件控制，由于稀疏轨迹与高维RGB视频之间缺乏坚实的几何约束过渡，在大范围位移或复杂交互时，模型依然会放飞自我，造成车辆重叠穿模。
“点、形、貌”三层解耦：重构物理生成的逻辑链条
为了从底层根治物理穿模，Motion Forcing提出了一种巧妙的解耦逻辑。就像人类画家创作一样，必须遵循“先定点位、再勾线框骨架、最后上色渲染”的严密次序。整个生成过程被清晰地拆分为三层：
1. 点（轨迹控制）
2. 形（深度几何流）
3. 貌（真实感外观渲染）
值得注意的是，Motion Forcing在此处展示了精妙的模型设计：推算几何“形”与渲染外观“貌”复用了同一个神经网络权重。在训练过程中，模型在“推演三维结构”与“给结构上色”两项任务中交替迭代，使得单一AI模型同时兼备了“物理引擎”的逻辑推演能力与“神经渲染器”的画质表达能力。
逆向“遮题”训练与镜头运动解耦
为了确保模型真正掌握物理推断能力，而非机械地描摹轨迹，港科广团队还引入了针对性的训练与控制策略：
- 掩码强制训练（Masked Motion Forcing）：现实仿真中，人类可能只设定某辆车前2秒的轨迹。团队在训练中故意遮挡后半程轨迹或部分车辆信息，逼迫模型利用已学到的速度惯性、避让规律自主推导出车辆后续动向，且确保被遮挡后再现的车辆不出现位置瞬移。
- 自车视角投影转换：传统的自车位移多采用“前进X米、转向Y度”的数值控制，大模型很难将其直接映射为像素变化。团队先将首帧深度图按照自车的规划轨迹进行空间几何位移预览，再将预览结果直接作为条件喂给模型。这让模型“亲眼看到”镜头本身的平移与旋转，从而将自车运动与他车运动完全解耦，支持自由组合各种复杂博弈工况。
Waymo实测登顶：物理合理性力压顶级闭源模型
在权威的Waymo真实驾驶数据集（包含100段高难度复杂路况）严苛评测中，Motion Forcing展现出了惊人的物理一致性。
在动作连贯性得分（数值越低代表越连贯稳定）上，Motion Forcing取得了 205.2 的顶尖成绩，显著优于Wan 2.6（316.2）和Seedance 2.0（345.6）；在严苛的物理合理性测试中，Motion Forcing同样以 33.2 的高分斩获全场第一。
尽管依靠庞大算力和海量无监督数据预训练的头部大模型在单纯的画面惊艳度上有其长处，但在以“零失误”为准绳的自动驾驶领域，“动作对不对、物理真不真”才是决定仿真数据能否直接用于强化学习和端到端算法闭环训练的核心门槛。
此外，该框架的通用性也极为亮眼。除了常规的机动车加塞避让场景，研究团队还展示了多米诺骨牌连环倒下、机械臂精准推挤多件物品等非驾驶场景的视频生成，模型均展现出了扎实的牛顿力学推演逻辑。
推动世界模型与AI仿真的崭新里程碑
对于全球人工智能开发者与自动驾驶从业者而言，港科广团队开源的 Motion Forcing 不仅是一个优秀的视频生成工具，更为当前炙手可热的“世界模型（World Models）”构建提供了极具价值的技术路线参考。当前，海内外众多前沿机构正全力探索基于生成式AI的端到端驾驶闭环，高质量、符合真实物理规律的合成交互数据，将是填补Corner Cases训练缺口的最强催化剂。
Loading...