# OpenAI炮轰AI评测”标杆”： 731 道题近三成有缺陷， 8 个月通过率从23%飙到80%已失灵

- Link: https://paooo.com/aigc-news/28688/
- Published: 2026-07-09T17:19:32+08:00
- Author: 站外新闻

[OpenAI](https://paooo.com/tag/openai/)发布博文公开挑战行业权威评测基准SWE-Bench
Pro，认为在 731 个公开测试任务中，约30%存在评测缺陷。SWE-Bench Pro由Scale AI推出，
专门评测大语言模型与AI[智能体](https://paooo.com/trends/)的编程能力，因高度贴近实际
企业级开发且具备极高的防作弊标准，现已成为AI软件工程领域的行业权威基准。

![OpenAI](https://paooo.com/wp-content/uploads/2026/07/202502061723419905_1-1.avif"
OpenAI (图片来源：AI合成)")

OpenAI在博文中指出一个关键信号：前沿模型在该基准上的通过率仅用 8 个月就从23.3%飙
升至80.3%。这一”进步”速度过于异常，OpenAI认为该基准已无法有效评估模型的真实软件开发
能力，很可能是因为评测本身存在系统性问题，而非模型能力真的实现了如此飞跃。

两条审查路径交叉验证，近三成任务”不合格”

为验证判断，OpenAI启动了两条并行审查路径。其数据点分析流程标记出 200 个失效任务，
占全部 731 个公开任务的27.4%；同时开展的人工标注活动识别出 249 个失效任务，占比34.1%。
基于这两条路径的交叉验证，OpenAI预估SWE-Bench Pro约30%的任务存在缺陷，涉及测试过
严、提示不充分、测试范围过窄和提示具有误导性四类问题。

OpenAI还披露了一个典型案例：某道题要求将内容转为Markdown时在行首加入 1 个空格，但
隐藏测试却要求 2 个空格。这意味着模型完全按照题面说明编写代码，仍然会被判错。这类”
隐藏要求与明文说明不一致”的问题，直接导致模型的真实能力被错误评估，也解释了为何通过
率会出现不合理飙升。

撤回采用建议，呼吁重建AI评测体系

基于这次分析，OpenAI正式撤回此前对SWE-Bench Pro的采用建议。OpenAI认为，后续需要由
资深软件开发者专门为AI评测设计新的基准，而非简单沿用面向人类开发者的测试逻辑。当
行业”标杆”本身都可能存在近三成缺陷，整个AI评测体系的公信力便面临拷问。从跑分竞赛
回归真实工程能力评估，或许是AI软件工程评测下一步必须跨越的门槛。

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,000+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[⚡ AIGC 早报生成器](https://paooo.com/mtool/)