通用Agent玩转具身机器人：CodeActionBench评测前沿AI进展

type

status

date

slug

summary

通用多模态大模型的物理世界大冒险

在当今人工智能飞速发展的浪潮中，大型多模态模型（LLM/VLM）展现出了令人惊叹的推理、看图与代码生成能力。无论是对话聊天、编写复杂脚本，还是解析高分辨率图像，顶级大模型都已经游刃有余。然而，一个始终悬而未决的核心问题是：这类通用的多模态 Agent，能否真正跨出数字屏幕，走向现实或仿真环境，成功操控实体机器人完成复杂的物理交互？

过去，具身智能领域多依赖专用策略模型或经过海量机器人轨迹数据微调的 VLA（视觉-语言-动作）网络。但随着通用模型推理能力的飞跃，一种名为“代码即策略”（Code-as-Policy）的新范式正在崛起。南洋理工大学及合作团队最新推出的基准测试 CodeActionBench，正是为了系统检验通用 Agent 在双臂机器人操作上的潜能与边界。想要持续获取这类前沿技术的独家解读，欢迎常态化关注专业的 AI门户，掌握一手 AI资讯 与行业洞察。

什么是 Code-as-Policy？通用 Agent 介入物理操作的新逻辑

传统的机器人控制往往需要专门训练的端到端神经网络，或者由工程师手动构建详尽的状态机。而通用多模态 Agent 参与物理操作的核心机制在于：利用代码作为桥梁，将视觉输入与逻辑规划转化为机器人底层可执行的动作指令。

通用大模型无需额外的机器人动作头微调，而是直接复用其在大规模预训练中积累的常识推理、空间几何理解以及 Python 编程能力。模型根据相机捕获的 RGB 图像和内参信息，自主估算三维空间中的目标抓取点与行进路径，随后通过编写结构化的 Python 脚本，调用环境提供的基础运动学 API。这种方式赋予了 Agent 极强的灵活性——循环重试、条件分支、误差容忍与多步连续动作，均可浓缩在一段清晰的代码逻辑中。

随着 chatGPT 与 claude 等顶级模型在代码生成能力上的不断迭代，这种通过代码操控物理世界的方式正在成为通向通用具身智能（Embodied AGI）的重要路径。

CodeActionBench 的核心设计：共享接口与绝对自主

以往很多机器人评测基准存在一个痛点：测试环境往往给模型“开绿灯”，比如预先提供物体的精确 3D 位姿、预设候选抓取框，甚至提供人类示范轨迹。这种“过度辅助”导致我们无法看清模型本身的真实推理水平。

CodeActionBench 彻底打破了这一局限，它建立在 RoboTwin 2.0 与 SAPIEN 物理仿真引擎之上，统一采用 ALOHA-AgileX 双臂机器人平台，设计了 25 个极具挑战性的物理交互任务。其核心评测哲学可以概括为两点：

统一底座与受限工具：系统仅为 Agent 提供多视角图像、相机参数、本体感知状态以及逆运动学求解等基础设施工具。底层的碰撞检测与轨迹规划交给工具，但何时动、往哪动、如何避障、怎样配合双臂，全部决策权交给大模型自身。

纯自主闭环控制：Agent 必须自行观察场景、提取视觉线索、构建三维空间目标、生成可执行代码，并在动作完成后读取环境反馈。如果抓取滑落或碰撞失败，Agent 需要自行发现并生成修正策略，实现物理世界的闭环重试。

这种将决策彻底留给模型的测试环境，成为了衡量 大模型 真实具身能力与逻辑严谨度的“试金石”。

模型对决与数据揭秘：代码质量与执行效率决定成败

在总计 675 次高强度仿真尝试中，各个多模态配置展现出了显著的能力分层。测试涵盖了 GPT 家族最新代系以及 Claude 体系中的顶级选手：

代码组织能力直接影响执行表现：评测数据显示，成功率拔得头筹的模型在工具调用中通过 run_code 提交完整脚本的比例高达 85% 至 90% 以上，而落后模型的这一比例仅有 15% 到 35%。这意味着，高水准的 Agent 倾向于把一系列连续计算、分支判断和运动指令打包为一段 Python 程序一次性执行，极大地降低了来回交互的上下文开销与仿真延迟。

极低的代码报错率是稳定执行的前提：顶级配置在多达数千次的运行中，Python 语法及沙箱错误率仅为 0.46%。在物理交互中，任何一次环境异常都会导致操作中断，能够编写高鲁棒性代码的 Agent 显然具备更高的完成概率。

任务覆盖率的重要性：除了总尝试成功率，在不同任务场景下的适应广度同样关键。评测表明，即便某些模型在简单任务上的成功率接近，但在涉及精细双臂交接、多物体堆叠等高阶任务中，顶级模型展现出了不可替代的场景泛化实力。

对于长期跟踪 AI新闻 与行业技术进展的开发者而言，这些实验数据清晰地表明：当前提升机器人表现的关键，不仅在于感知分辨率，更在于模型的代码逻辑编写与容错修正能力。

从“是否成功”到“做到了哪一步”：细粒度轨迹与自主终止

评价一个具身智能系统，单纯看最终任务“成功”或“失败”的二元标签是远远不够的。CodeActionBench 引入了开创性的多维度分析机制：

1. 中间检查点（Checkpoints）追踪

2. “自我认知”与自主终止判断

总结与具身智能的前沿启示

CodeActionBench 的发布，标志着通用 Agent 评测正式从纸面上的逻辑问答、平面绘图，跨越到了严苛的连续物理交互领域。实验无可辩驳地证明：即便不重新训练专用的大型动作模型，凭借优秀的提示词工程、严密的视觉理解与代码生成闭环，通用大模型同样能够在高度复杂的双臂机器人操作中取得优异成果。

对于广大的 AI 开发者、研究人员及产业应用探索者而言，如何设计高效的 Agent 交互架构、如何调优多模态 Prompt 策略以实现精准的三维推理，将成为具身智能商业化落地的重要抓手。未来，随着底层大模型逻辑推理速度的进一步提升与端到端延迟的降低，通用代码策略必将在工业分拣、家庭服务和特种作业等机器人应用中发挥更大的威力。

关注最新、最全的 AGI 技术跃迁与大模型落地实践，欢迎随时访问 AI门户，获取每日更新的深度技术解析与权威 AI日报。