AI新赛道：o3-pro通关推箱子，经典游戏成大模型试金石

type

status

date

slug

summary

经典游戏的新角色：为何成为大模型“试金石”？

你可能会问，为何这些看似简单的像素游戏，能成为衡量复杂大模型能力的标尺？原因在于，这些游戏虽规则简单，却蕴含着对多方面智能的考验：

逻辑推理与规划能力：推箱子需要在有限空间内规划箱子的移动路径，避免死锁；俄罗斯方块则要求快速判断方块的最佳摆放位置以消除行。这些都对模型的逻辑推理和前瞻规划能力提出了高要求。

指令遵循与理解：大模型需要准确理解游戏规则和目标，并将这些理解转化为具体的操作指令。

多步决策与长期记忆：许多游戏关卡需要一系列连贯操作才能完成，考验模型在多步决策中的一致性和对先前状态的记忆能力。

泛化与适应性：虽然Lmgame会动态更新地图，但模型能否从已学习的关卡中泛化知识到新的、未见过的布局，是衡量其智能水平的关键。

相较于传统的自然语言处理（NLP）Benchmark，游戏Benchmark提供了一个更动态、更具交互性的测试环境。它不再仅仅是文本理解和生成，而是将AI置于一个需要感知、行动、并根据反馈调整策略的闭环中，这无疑更接近真实世界的复杂任务。

Lmgame Benchmark全景：不止推箱子，更是AI能力综合考场

Lmgame并非仅有推箱子和俄罗斯方块。这个由UCSD Hao AI Lab（该实验室亦参与创立LMSYS，即大模型竞技场的出品方）推出的开源Benchmark，旨在通过一系列经典游戏全面评估大模型的各项能力。目前，Lmgame包含了六款各具特色的游戏：

推箱子 (Sokoban)：如前所述，o3-pro在此游戏中表现出色，直接通关了Benchmark提供的所有关卡。评估指标是推动到目标位置的箱子总数。

俄罗斯方块 (Tetris)：o3-pro同样表现优异，得分方式为放置方块数与清除行数乘以10的总和。

2048：评估指标是所有合并方块值的总和的对数。

糖果传奇 (Candy Crush)：在固定回合内消除的糖果总数。

超级马里奥兄弟 (Super Mario Bros.)：衡量马里奥在所有关卡中累积的水平移动距离。

逆转裁判 (Ace Attorney)：通过正确动作（如提交证据、选择对话）的总计数来衡量。

Lmgame的测试过程采用迭代交互循环模式：游戏环境向大模型提供当前状态，模型生成动作，动作在环境中执行并产生奖励和新状态。为提升评估的稳定性和可比性，Lmgame引入了包含感知、记忆、推理等模块的智能体框架，并实施了提示标准化，以减少因提示词（Prompt）工程差异带来的性能波动。这种全面的设计使得Lmgame能够更客观地反映大模型的真实游戏智能。

o3-pro的“通关”神话：Benchmark上限的突破与深思

o3-pro在推箱子项目中直接通关所有提供的关卡，无疑是其能力的一大明证，甚至有种“考一百分是因为卷面只有一百分”的意味。在俄罗斯方块中，其表现也远超之前的SOTA模型（如o3、o4-mini和DeepSeek-R1）。这些成绩的取得，可能归功于o3-pro在更深层次的逻辑推理、长期规划以及对复杂指令序列的理解和执行能力上的提升。

然而，值得注意的是，原文提到o3-pro在执行操作时相当耗时，“每走一步都要花上好几分钟”。这揭示了当前大模型在追求高效决策与执行方面仍有提升空间。此外，有网友提出让大模型编写游戏程序而非直接挑战游戏，或许能取得更好结果，这也为AI能力评估提供了另一种思路。

从游戏到AGI：Lmgame揭示大模型未来演进之路

Lmgame这类游戏Benchmark的出现和模型的优异表现，不仅仅是技术上的“炫技”，更对探索通用人工智能（AGI）具有重要意义。游戏，特别是那些规则明确但策略空间巨大的游戏，长期以来被视为测试和培养AI通用能力的理想环境。

揭示能力边界：通过Lmgame，我们可以更清晰地看到当前大模型在哪些方面表现出色（如短期逻辑），在哪些方面仍有不足（如极长期的战略规划、高效实时决策、对模糊或不完整信息的处理）。

推动模型迭代：Benchmark的挑战性会反过来驱动模型架构、训练方法和提示词工程的创新。正如Lmgame会动态更新游戏地图，未来也可能引入更复杂的游戏，如玩家期待的《宝可梦》（Gemini已在此游戏上取得进展），持续拔高对AI能力的要求。

探索AI与世界的交互：游戏模拟了AI与环境的互动过程，这对于未来AI在机器人控制、自动化流程、复杂系统管理等实际应用中的落地至关重要。

想要紧跟AI发展的最新动态，深入了解LLM、AGI以及各种新奇的AI应用和提示词技巧，可以访问专业的AI资讯与AI门户网站 aigc.bar。

AI游戏测试的未来：效率、泛化与更多可能

虽然Lmgame在评估大模型游戏能力方面迈出了重要一步，但未来的游戏Benchmark仍有广阔的探索空间。目前，Lmgame的评估标准主要集中在任务完成度（如通关、得分），而未将“时间”作为核心考量因素。未来，以下维度值得进一步关注：

效率与资源消耗：模型完成任务所需的时间、计算资源等，是衡量其实用性的关键。

泛化能力与鲁棒性：模型在面对规则微调、环境噪声或全新未知游戏时的表现。

可解释性：模型为何做出这样的决策？理解其“思考”过程对于信任和改进AI至关重要。

多模态交互：结合视觉、听觉等多模态信息进行游戏，将更贴近真实世界。

这些更全面的评估维度，将有助于我们更精准地把握大模型的综合实力，并推动其向更高效、更智能、更可靠的方向发展。

总而言之，从o3-pro在推箱子等经典游戏中的亮眼表现，到Lmgame这一创新Benchmark的出现，我们看到了AI发展的新浪潮。经典游戏不再仅仅是人类的怀旧娱乐，它们正化身为大模型能力的“磨刀石”和“试金石”，不断推动着人工智能技术的边界。未来，我们有理由期待AI在更复杂、更动态的游戏环境中展现出令人惊叹的智慧，并最终将这些能力迁移到解决现实世界的诸多挑战中。持续关注AI新闻和AI日报，与时代同行。