TerminalWorld：8万真实人类终端录像打造首个CLI工作流基准

type

status

date

slug

summary

告别专家出题：真实工作流的呼唤

长期以来，在评估大模型（LLM）和AI Agent解决终端任务的能力时，行业内多采用专家手工出题的方式（如Terminal-Bench）。然而，这种模式存在两个致命的盲区：

题目脱离实际：专家为了增加区分度，往往倾向于设计刁钻、对抗性的谜题。这些题目与工程师每天面对的真实工作流之间存在巨大鸿沟。榜单上的高分，并不意味着在真实世界中“会干活”。

基准容易过时：工具、命令和工作流在不断迭代，而静态的手工基准一旦发布便不再更新。当chatGPT或claude等先进模型已经掌握了最新的工具时，旧基准依然在使用过时的题目进行测试，自然无法准确衡量AGI的真实水平。

因此，让真实世界自己来出题，成为了突破这一测试瓶颈的关键。

asciinema：沉睡的终端操作金矿

要构建真实的测试环境，最好的参照系就是人类自身的真实操作轨迹。研究团队将目光投向了asciinema——一个开发者自愿分享终端会话录像的公开平台。从中收集的8万余条真实终端操作录像，成为了训练和评测AI的绝佳原材料。

与普通的视频录屏不同，这些终端画面是由底层结构化文本实时渲染而成的。这意味着，录像中不仅记录了“人类输入了什么提示词（Prompt）”，还完整保留了“系统如何输出反馈”。对于大模型而言，这种纯文本的数据形式是近乎理想的原材料，全程无需任何视觉模型的介入即可解析。这批数据不仅涵盖了日常的系统管理，还包括了复杂的容器编排和CI/CD流水线，是人类工程经验最密集的结晶。

逆向工程：如何将录像转化为自动化考题

将原始的真实录像转化为可供AI Agent评测的标准化考题，并非易事。TerminalWorld团队设计了一条严密的四阶段自动化数据引擎流水线：

收集与过滤：从8万余条原始录像中，剔除包含敏感信息或危险命令的数据，筛选出纯CLI交互的高质量录像。

合成终端任务：利用大模型直接从文本转录本中提炼出任务目标和参考解答，无需视觉解析。

复现可执行环境：让AI Agent逆向推断依赖关系，构建Docker镜像并启动容器，通过反复试错直到脚本能够完整跑通。

生成测试用例：在执行前后对文件系统进行快照对比，生成与真实终态对齐的测试标准，并经过多重关卡验证（如确保全对通过、空跑失败等）。

最终，这一过程淬炼出1,530个覆盖18个真实场景的终端任务，形成了一个能够随开发者真实实践持续更新的“活性基准”。

真实世界大考：前沿大模型表现如何？

在TerminalWorld的高质量Verified子集上，研究团队对多款前沿大模型和主流Agent框架进行了测评，结果揭示了当前人工智能在真实CLI工作流中的真实能力边界：

最强模型也仅勉强及格 即使是表现最好的闭源大模型，平均通过率也仅在50%左右。这表明，真实的终端工作流对当前的LLM依然极具挑战性。值得关注的是，部分优秀的开源模型在性价比上实现了反超，为AI变现和企业级应用落地提供了高性价比的选择。

算力消耗与成功率呈负相关 在开放的真实环境中，如果Agent缺乏优秀的规划能力，往往会在错误的方向上越陷越深。失败的尝试不仅消耗了大量的Token，还浪费了大量的时间和计算成本。算力烧得越多，往往意味着模型已经迷失了方向。

模型能力存在严重偏科 当前的模型在环境配置和软件构建上表现尚可，但在性能优化、脚本自动化和调试测试上则集体表现不佳。目前还没有任何一个大模型能够成为“全能选手”，这也暴露出当前AI在复杂逻辑推理和长线任务规划上的短板。

专家榜单高分在真实场景中失效 在传统专家基准上获得高分的模型，在TerminalWorld上的表现大幅下滑，两者得分相关性极低。这再次证明，传统的静态测试容易造成“高分低能”的假象，只有真实的考场才能测出真本事。

AI与人类的解题路径大相径庭 面对同一个任务，AI Agent经常另辟蹊径，使用与人类完全不同的命令集来达成目标。这种多样性的解决策略，正是AGI在探索未知空间时的一大看点。

总结与展望：与真实世界共同成长的AI评测

TerminalWorld的诞生，向我们传递了一个清晰的信号：评测AI的最好原材料，不在专家的题库里，而在于人类真实的实践中。终端作为软件开发中最基础也最关键的一环，是检验AI Agent能否真正走进开发者日常工作流的试金石。

随着openai、claude等大模型生态的不断进化，我们需要更多像TerminalWorld这样真实、可扩展的评测基准。如果您想持续了解关于AI Agent、大模型评测以及更多前沿的人工智能发展动态，欢迎每天访问AI门户获取最新的AI日报与AI资讯。只有让评测标准与真实世界共同成长，我们才能加速迈向真正的AGI时代。