硅谷物理AI真实进度揭秘：大模型如何跨越现实鸿沟

type

status

date

slug

summary

建筑工地的非结构化挑战：物理世界的“涌现”

在探讨自动驾驶时，我们通常想到的是城市道路。然而，Bedrock Robotics（由Waymo前工程师创立）正在尝试将自主控制系统引入挖掘机、压路机等工程车辆中。乍看之下，工地没有乱窜的行人和红绿灯，似乎比城市道路更简单。但事实恰恰相反。

城市道路是高度结构化的环境，有清晰的车道线和交通规则。而建筑工地则是一个极度非结构化的世界，任务随时在变，没有任何“规则手册”。例如，挖掘机在泥泞的河边作业时，人类操作员会即兴用原木垫在履带下移动，这种基于物理直觉的操作是无法通过简单的代码规范来预设的。

更有趣的是，在物理AI系统中也出现了我们在大模型中常讨论的“涌现行为”。在测试中，无人的挖掘机会自发地将铲斗撑在地上，利用履带的力量辅助机身旋转以精准对准方向。这并非工程师编写的代码，而是机器从数据中找到的物理意义上的“更优解”。这种脱离人类控制链条后的涌现，既令人兴奋，也为未来的系统不可控性敲响了警钟。

语言模型与机器人的裂缝：感知与行动的鸿沟

随着ChatGPT和Claude等大语言模型的崛起，很多人产生了一个直觉：只要LLM足够聪明，通用机器人自然就能水到渠成。但Covariant的案例无情地打破了这一幻想。

如果将机器人任务拆分为感知、规划、行动和反思四个环节，当前最好的语言模型在“规划”和“反思”上表现优异，但在“感知”和“行动”上却存在巨大的结构性裂缝：

物理视觉的缺失：大模型在互联网数据上训练，擅长理解图表、网页截图等“数字视觉”，但在理解真实三维空间（深度、遮挡、空间位置）的“物理视觉”上却非常薄弱。模型见过太多像素，却极少真正理解物理空间。

离散与连续的矛盾：语言模型的输出是离散的Token，而机器人的行动（关节角度、力矩、速度）是连续的物理量。这种输出侧的结构性矛盾，无法单纯通过“把模型做大”来解决。

真实街道的混沌与双轨制安全策略

Serve Robotics的外卖配送机器人每天都在美国几十个城市的真实街道上运行。与自动驾驶汽车行驶在规则明确的机动车道不同，外卖机器人行驶在人行道上——这是世界上规则最松散、最难预测的公共空间。

面对兴奋拍照的路人、扑上来的宠物狗或是试图“搭便车”的滑板少年，机器人无法穷举所有突发情况。为了在不确定的环境中保证绝对安全，工程团队采用了一种“双轨制”策略： * 基础模型负责理解：利用大模型处理开放场景下的复杂交互和语义区分（例如区分“可以靠近的灌木”和“绝对不能碰的墙壁”）。 * 规则系统负责底线：在涉及紧急制动等绝对安全红线时，由基于硬性规则的系统兜底，绝不完全依赖概率性的模型输出。

在物理世界中，AI出错的代价是真实且不可撤销的。这种“模型负责理解世界，规则负责守住底线”的分工，是目前物理AI最现实的工程路径。

破除工程惯性：被严重低估的雷达技术

在传感器领域，雷达长期以来被视为摄像头的“备胎”。因为传统的雷达输出只是极其稀疏的点云，信息密度远低于摄像头，导致包括特斯拉在内的许多厂商选择弃用雷达。

但Zendar的创新揭示了一个深刻的行业认知陷阱：雷达之所以显得“不行”，是因为几十年来行业为了压低成本，采用了极度简化的信号处理方式，主动丢弃了大量原始信息。

如果绕开稀疏点云的假设，直接用模型从雷达的原始信号中学习，雷达的物理优势将彻底爆发：它不受光线和恶劣天气影响，能穿透雨雾，直接精确测速测距，甚至能通过信号绕射“看到”被遮挡的物体。更重要的是，雷达数据的结构更简单，训练模型所需的数据量和算力远小于视觉图像，泛化能力反而更强。这提醒我们，在追逐前沿AI资讯时，必须警惕那些被历史工程惯性固化的技术偏见。

通用机器人的终极难题：人机交互与内隐知识传递

当通用机器人真的走进家庭，我们该如何告诉它“帮我收拾房间”？这句话背后隐藏着无数个人偏好和情境判断（衣服怎么分类、床单多久换）。目前的提示词（Prompt）交互方式建立在“社会共识”的基础上，但在高度个性化的物理生活场景中，这种假设会瞬间崩塌。

Innate.bot提出，通用机器人最难解决的其实是交互问题。很多知识是“内隐”的，是几十年生活积累的直觉，难以用语言精准描述。因此，未来的机器人需要一套全新的知识传递机制——例如通过遥操作示范，或者让用户戴着第一人称视角的摄像头亲自做一遍任务。

让普通人能够以最自然的方式将自己的习惯和规则“教”给机器人，这才是决定通用机器人能否真正普及的核心关键。

结语：软件AI与物理AI的终极交汇

从非结构化环境的挑战、感知与行动的裂缝，到双轨制安全、传感器的重新评估，再到内隐知识的传递，物理AI面临的这五大独立挑战，是无法仅仅依靠“扩大算力”来解决的。

然而，令人期待的是，物理AI所面临的数据质量、评估边界、人机协作等问题，本质上与软件世界中OpenAI等巨头探索AGI时遇到的难题殊途同归。在未来几年，软件AI与物理AI的交汇点，必将诞生最激动人心的技术革命。

在这个充满机遇与挑战的时代，想要把握技术脉搏，了解最新的AI资讯、大模型进展以及AI变现的前沿探索，请持续关注专业的AI门户网站 AIGC.BAR，与我们一起见证人工智能重塑现实世界的伟大进程。