GPT-5编程能力疑云：揭秘OpenAI基准测试背后的“选择性”难题

type

status

date

slug

summary

疑点一：消失的23道测试题

争议的焦点集中在一个名为 SWE-bench Verified 的编程能力基准测试集上。SWE-bench是业界公认的、用于评估AI模型自主解决真实世界软件工程问题的权威标准。为了提高评测的准确性，OpenAI自己曾参与提炼了一个包含500个经过验证问题的子集，即SWE-bench Verified。

然而，问题恰恰出在这里。OpenAI在公布其最新模型的测试结果时，明确表示其分数是基于一个仅包含477个问题的“子集的子集”得出的。官方给出的理由是，剩下的23个问题因技术原因无法在其内部基础设施上稳定运行。

这个解释引发了广泛质疑。如果将这23道“被跳过”的题目保守地记为0分，那么其总分优势将大幅缩水，甚至可能低于其主要竞争对手Anthropic的Claude 3 Opus。这0.4%的微弱领先优势，瞬间变得岌岌可危。这种做法，无异于在一场考试中，考生自行删除了自己不擅长的题目，然后宣称自己取得了最高分。

疑点二：既是运动员，也是裁判员？

让这场争议更具戏剧性的是，SWE-bench Verified这个基准本身就是OpenAI深度参与创立的。当初，正是因为OpenAI认为原版SWE-bench存在一些无法解决或难以评估的任务，影响了对模型能力的系统性评估，才联合SWE-bench的作者，邀请了93位资深程序员，投入大量精力进行人工筛选和标注，最终才诞生了这个包含500个高质量样本的“黄金标准”。

整个过程旨在建立一个更公平、更准确的评估环境。然而，如今OpenAI却率先从自己参与制定的规则中“豁免”了部分内容。这种“既当运动员，又当裁判员”的行为，让其测试结果的公正性大打折扣。自己设立了靶子，又在射击时悄悄移开最难命中的几个，这无疑是对科学严谨性的巨大挑战，也让外界对AI巨头们的内部测试流程产生了更深的忧虑。

疑点三：不对等的比较与行业影响

除了删除题目，另一个关键问题在于比较的“不对等性”。有网友指出，OpenAI在测试中可能使用了“具有最大思维努力”的优化模型，而与之对比的Claude 3 Opus则可能是在仅有基础工具、没有额外规划和思维链优化的“原始状态”下进行测试的。这就像让一位装备精良、策略周全的选手，去和一位赤手空拳的选手同台竞技，其结果的参考价值可想而知。

对此，竞争对手Anthropic在发布Claude 3 Opus的编程成绩时，特意在文章末尾加了一段注释，明确指出：“我们报告的分数基于完整的500个问题。OpenAI模型的得分基于477道问题的子集进行报告。” 这段看似平淡的文字，实则是一次不动声色的反击，将基准测试透明度的议题摆上了台面。

透明度：AI大模型竞赛的“隐形赛道”

这场风波揭示了一个核心问题：在AGI（通用人工智能）的激烈竞赛中，除了技术本身的突破，透明度和公信力正成为一条决定成败的“隐形赛道”。用户、开发者和投资者依赖公开的基准测试来评估和选择技术。如果这些数据可以被“优化”或“操纵”，那么整个行业的创新方向都可能被误导。

对开发者的影响：开发者需要真实可靠的数据来判断哪个模型的API更适合他们的应用场景。不透明的测试会增加他们的试错成本。

对用户的影响：普通用户在选择ChatGPT国内使用或Claude国内使用等服务时，往往会参考这些性能报告。误导性的信息会影响他们的使用体验和判断。

对行业的影响：一个健康的AI生态需要建立在信任之上。缺乏统一、独立、透明的第三方评测机制，只会加剧厂商间的“指标竞赛”，而非真正的技术进步。

结论

OpenAI的最新模型无疑是当今最顶尖的LLM之一，其强大的能力毋庸置疑。然而，此次的基准测试风波提醒我们，强大的技术实力需要匹配同等水平的严谨与真诚。在追求更高分数的路上，绝不能丢掉科学精神和对社区的尊重。

未来，我们期待看到更多独立、公正的第三方评测机构出现，为所有大模型提供一个公平竞技的舞台。对于关注前沿AI资讯和AI新闻的我们而言，保持批判性思维，深入了解数据背后的故事，比以往任何时候都更加重要。想要获取更多客观、深度的AI门户信息和大模型的最新动态，可以访问 https://aigc.bar 这样的平台，持续追踪人工智能领域的真实进展。