ARTICLE SIGNAL
GPT-6-Astra具身大考:传统基准满分,真机频频碰壁的深度剖析
深入解读GPT-6-Astra具身智能技术评测,剖析大模型在仿真基准满分与真机落地频碰壁的反差,分析物理交互认知缺陷、推理成本及具身智能未来演进方向。AI,AI资讯,AI新闻,大模型,具身智能,LLM,人工智能
type
status
date
slug
summary
tags
category
icon
password
网址
随着大型语言模型(LLM)与多模态AI技术的爆发式演进,通用大模型是否能够直接赋能机器人、实现真正意义上的具身智能(Embodied Intelligence),已成为当前人工智能学术界与工业界最瞩目的课题。此前,OpenAI发布的GPT-6-Astra凭借强大的跨模态理解与规划能力,被业界寄予厚望,甚至被认为正在用通用认知对传统的视觉-语言-动作(VLA)模型形成“降维打击”。
然而,数字世界里的逻辑推理,能否平滑迁移至充满不确定性的物理现实?近期由商汤联合大晓机器人、新加坡南洋理工大学及东京大学等多家顶尖科研团队发布的系统性技术报告《Has GPT-6-Astra Achieved Embodied Intelligence?》,给出了客观而震撼的答案。报告覆盖了12项仿真评测与8个真实机器人硬件平台,结果呈现出惊人的两极分化:在充分放宽限制的传统仿真任务中,GPT-6-Astra几乎横扫榜单摘得满分;但在真实世界的家庭与操作场景中,模型却频频出现认知误判、高昂耗时与物理碰撞。这一现象揭示了具身智能通往物理世界过程中最棘手的核心痛点。
想要第一时间获取全球前沿的AI资讯与深度技术解读,欢迎访问专注前沿大模型与AGI动态的AI门户 AIGC.bar,掌握权威的AI新闻与前沿趋势。
仿真基准高分背后的“作弊技巧”:ICL与步数红利
在传统的机器人操作基准测试中,GPT-6-Astra的表现堪称惊艳。解除动作限制后,它在长程组合操作基准LIBERO-Long++上斩获了100%的满分,在考验鲁棒性与泛化能力的LIBERO-Pro中达到99.3%,在人形机器人基准SIMPLE上也录得98.8%的极高成功率。
但深入分析实验条件可以发现,这些亮眼成绩并非单纯源于模型对物理世界的天然理解,而是依赖于两大关键支撑:
- 上下文学习(ICL)知识包:在评测前,研究团队允许GPT-6-Astra查阅训练集中的成功示范,包括动作轨迹、视觉参考、辅助代码和失败恢复方案,并将其整理为测试前冻结的先验知识库。这相当于让通用大模型开卷考试,通过检索相似示范来调整动作,而非直接依靠实时零样本泛化。
- 扩大10倍的执行步数预算:传统基准通常对最大动作步数设有严格限制,一旦超时即判定失败。研究人员将执行预算放宽至标准上限的10倍,赋予了模型极高的容错和反复试错空间。在精细操作基准RoboDojo上,标准预算下模型的成功率仅有27.6%,但在10倍步数支持下飙升至81.9%。
然而,这种容错机制在长程现实任务中迅速失效。例如在家庭长程基准BEHAVIOR中,模型的成功率仅为37.0%;在复杂导航基准LHPR-VLN中,即使放宽执行预算,成功率也仅有28.9%。这表明,单靠不断试错并不能真正解决复杂的时序管理与环境变化问题。
物理世界的认知盲区:“看对做错”与不可逆后果
在虚拟文本或代码环境中,大模型的错误可以通过反复生成提示词(Prompt)与单元测试进行无成本纠错;但在真实物理世界中,状态的改变往往是不可逆的。评测展示了GPT-6-Astra在物理交互理解上的致命短板。
首先是物理接触条件的严重误判。在挂水杯实验中,模型通过头部视角观察到杯柄与挂钩重合,便武断判定任务成功,但实际上水杯早已掉落桌面。更严重的是,当机械夹爪仅仅完成闭合动作时,模型却错误地认为自己已经抓稳了物体,导致后续操作全盘皆输。拼图任务中同样如此,模型误判四块拼图已对齐,在盲目的重试中反而把原本拼好的部分打散。
其次是不可逆物理损失无法挽回。倒水任务中,模型不慎碰倒水杯致使液体流满桌面,尽管模型具备扶正水杯的规划能力,却无法挽回流失的液体;装配任务中零件滑落至地面死角,机器人只能陷入瘫痪。此外,在整理耳机与笔记本的长程任务中,机器人收纳好笔记本后,却在二次调整耳机时将原本挂好的耳机碰落。物理环境的非线性演变,使得纯视觉推理的大模型极易在局部试错中破坏全局状态。
真机落地的残酷现实:90%时间在思考,精细操作全军覆没
为了摆脱仿真环境的局限,研究团队将GPT-6-Astra无示范直接部署到Franka 3机械臂、双臂Piper机器人、天机M6S灵巧手以及宇树G1人形机器人等8款真实硬件平台上进行零样本测试。
真机实测展现了通用大模型在物理落地时的巨大鸿沟:
- 刚性抓取表现稳定,精细操作遭遇断崖:在规则刚性物体的拾取与放置任务中,GPT-6-Astra在18次测试中成功17次,并在宇树G1人形机器人上顺畅完成了站立、转向与行走。然而,在涉及精细物理接触的柔性布料折叠任务中,成功率仅有50%;在三款不同机器人平台上进行的插头插入测试中,11次尝试无一成功。
- 惊人的时间与经济成本:在真机任务中,将一支笔放入笔筒这件人类几秒钟即可完成的小事,机器人由于反复推理、调用视觉工具与试错校验,总计耗时超过4个小时,消耗了价值55美元的模型Token。在宇树G1平台上,机器人约90%的运行时间都处于静止等待状态,等待远端大模型生成下一步动作。这种极度低效的推理延迟,带来了极高的硬件磨损、过热风险以及现场安全隐患。
- 偶露峥嵘的“主动视觉”能力:值得欣慰的是,实验也捕捉到了大模型的突现智能。在单臂插花失败后,更换为双臂机器人时,GPT-6-Astra在没有预设示范的情况下,主动控制另一只空闲机械臂移动腕部摄像头,凑近花瓶口以获取盲区视角,最终顺利完成插入。这种自发调用本体感知改善视角的行为,展现了多模态大模型在空间感知上的深厚潜力。
协同架构演进:从端到端直控到System 1与System 2闭环
面对直接生成底层控制指令成功率低下的困境,研究团队对机器人的连接执行系统(Harness)展开了深入重构。
实验表明,如果让GPT-6-Astra直接输出机械臂各关节的角度数值,成功率仅有9.72%;如果改为输出机械臂末端执行器的三维位置与姿态,成功率提升至15.83%;而当采用相对运动方向与位移距离来描述动作时,成功率进一步攀升至18.06%。这证明了一个核心工程原则:让通用大模型承担高层战略规划,具体的运动学逆解与关节伺服控制交给底层成熟控制器,整体稳定性显著更优。
同时,研究团队探索了类似人类大脑的“双系统架构”:
* System 2(GPT-6-Astra):负责宏观任务拆解、常识推理与动作合规性审查。
* System 1(经过微调的轻量化VLA模型):负责实时、高频地提出候选动作轨迹。
在闭环协作模式下,轻量级动作模型提供候选轨迹,由GPT-6-Astra在毫秒级内审核接受、修正或否决。结合上下文学习与递归自我进化(RSI)框架,商汤的SenseNova-RoboRSI在无需重新微调大模型基座权重的前提下,通过对历史失败执行轨迹的自动化归因与记忆重组,将复杂任务成功率从22.48%大幅拉升至54.17%。这种让执行架构自主进化的思路,为解决大模型推理延迟高与算力浪费提供了极具前途的落地方案。
具身智能评测的范式重构
这项详尽的学术研究给整个人工智能行业敲响了警钟:当前那些将动作步数无限放大、在理想静态沙盒中追求单一“成功”判据的评测基准,已经无法真实衡量具身智能模型的工业可用性。
在真实的家庭与工业场景中,“成功”具有多维度的严苛约束:
* 时效性与机会成本:用户要求15分钟内准备早餐,耗时1小时即便做出大餐也是失败的交付。
* 过程伴随安全性:煎蛋虽然达标,但迟迟不关炉火导致烧焦甚至引发火灾;或者放好牛奶却敞开冰箱数十分钟,这些在传统指标中被忽视的“过程破坏”,在现实中均属于严重事故。
* 算力与设备寿命成本:机器人不能以数小时的高功耗等待与高发热为代价,去完成微不足道的日常家务。
未来的具身智能必须跳出纸面分数竞争,转向兼顾物理安全约束、自主环境探索、时延功耗比以及自我纠错进化能力的综合评测体系。从纯文字与图像生成的“缸中之脑”,到能够在三维物理空间稳健交互的“行动实体”,通用人工智能(AGI)的演进之路才刚刚迈出关键的第一步。
对于关注大模型演进、提示词工程与前沿AI商业落地的技术从业者而言,持续洞悉模型边界至关重要。更多关于LLM最新突破、行业落地趋势与前沿技术脉动,敬请锁定专业AI新闻门户 AIGC.bar,助您在智能化浪潮中紧握先机。
Loading...