清华Asking the World重塑物理AI：看视频建世界搞懂客观规律｜AI新闻

type

status

date

slug

summary

突破“幻觉”表象：为什么AI必须跨越物理关？

在多模态大模型和视频生成技术飞速演进的当下，AI展现出了惊人的场景复原与画面生成能力。无论是复杂的3D重建还是栩栩如生的动态视频，机器仿佛已经能够逼真地“搭出”整个世界。然而，表面的几何完整与视觉仿真，并不等同于对物理规律的真正理解。

许多先进的大模型在面对反事实推断、动力学演变时仍常露怯。例如：如果将支撑物抽离，上方的积木会往哪个方向倾倒？在没有摩擦力的理想平面上，两球碰撞后的残余动能如何分配？传统视觉语言大模型往往依据表面语义猜测结果，缺乏对质量、阻尼、恢复系数及摩擦力等深层物理参数的系统辨识。AI若要走向真正可靠的AGI（通用人工智能），必须跨越这道严苛的“物理关”。

针对这一痛点，清华大学团队提出了全新的Asking the World（ATW）框架。该框架让AI不再仅凭视觉记忆猜测，而是学会了“看视频自主构建物理世界，通过做实验得出科学结论”，为多模态智能体理解客观规律开辟了全新路径。想要追踪这类前沿大模型动态与技术解读，欢迎访问专业的AI门户 AI资讯平台，获取一手AI日报与深度科技洞察。

从观察到实操：ATW的两阶段自适应架构

作为团队此前PhysMind架构的革新升级，Asking the World（ATW）的核心精髓在于将AI被动的问答模式，转变为“假设-建模-实验-验证”的主动科学探索循环。整个推理过程清晰地拆解为两大核心阶段：

1. 世界建模阶段（World Modeling）

2. 世界探测阶段（World Probing）

这一系列流程让多模态大模型从“看图猜字”变成了“实验室研究员”，大幅降低了逻辑幻觉。

PolyWorld Engine：拓展多材质与连续介质动力学

现实物理世界绝不仅由刚体构成。布料的垂坠与折叠、绳索的缠绕、流体的晃动以及柔性物体的挤压形变，构成了极为复杂的动力学交互。清华团队为ATW量身打造了PolyWorld Engine，显著扩展了智能体可以认知的物理边界。

该仿真引擎整合了刚体动力学、流体仿真、弹性质点系统及布料模型，并提供了标准化的交互接口： * 跨模态物理对齐：智能体通过搜索物理参数，最小化仿真运动与原视频视觉观测之间的位移或形变误差； * 可变形体拓扑追踪：针对非刚性物体，系统能够动态比较表面网格与中轴线的演变规律，确保流体粘性与布料刚度参数符合真实规律； * 闭环纠偏：一旦动力学拟合差异超出阈值，智能体会在建模阶段重新选取材料动力学模板，实现完全自主的参数迭代校准。

性能大幅跃升：真实场景与基准测试检验

重建的仿真世界是否具备可信度，最终需要由严格的物理推理基准来检验。实验数据显示，以通用小模型作为规划中枢，ATW搭配物理仿真工具展现出了极为惊人的性能跨越：

在权威物理因果推理基准 CLEVRER 上，结合基座模型后ATW的整体准确率达到 80.82%，相较于让多模态模型直接看视频作答，大幅提高了 46.50个百分点，同时也明显优于前代PhysMind；

在包含连续介质、流体和复合材质的复杂基准 ContPhy 上，ATW斩获 70.56% 的准确率，相较直接问答提升达 28.10个百分点；

在真实世界的实拍视频评测（包括台球走位、弹性小球撞击及玩具车滑行等真实物理实验）中，普通直答准确率仅为 33.33%，而ATW取得了 71.67% 的高准确率，展现出极强的泛化落地潜力。

这种架构的另一大优势在于高性价比与普适性：它不需要对底层视觉语言大模型进行昂贵的全参数微调，而是利用Prompt规划与外部动力学计算工具解耦，大幅降低了推理成本。

结语：迈向世界模型与具身智能的新范式

清华大学Asking the World框架的突破，标志着人工智能对现实世界的认知正在从“像素模式匹配”向“因果动力学理解”跃进。大模型负责理解意图、分解任务并调度工具，专业物理引擎负责精确推演物理法则。二者的有机融合，不仅解决了视频推理中的幻觉难题，也为未来的具身智能（Embodied AI）、智能机器人抓取与动态环境交互奠定了坚实的技术底座。

随着LLM、多模态智能体与高精度物理模拟引擎的深度结合，我们距离真正具备物理常识的通用世界模型正越来越近。紧跟前沿大模型技术演进、掌握最新Prompt架构与人工智能动态，敬请锁定专业的内容平台 AIGC门户，持续探索AI前沿与产业落地新机遇。