# 三分之二公开榜单都在误判！Eugene Yan 万字拆解 12 大 AI 智能体评测：隐藏断言错杀与 pass^k 可靠性重构全指南

- Link: https://paooo.com/ai-study/43026/
- Published: 2026-11-21T13:06:38+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 12 个主流 [Agent](https://paooo.com/trends/) Benchmark 被逐项审计，8 个被证实
   存在评分器误判或断言漏洞。
 * Terminal Bench、DeepSWE、OSWorld 2.0 等案例显示，隐藏约束与硬匹配会系统性错杀
   合法解法。
 * All-Pass、终态校验与去 LLM Judge 成为高风险智能体评测的关键重构方向。

> **💡 站外导读：**每当新一代前沿模型发布，刷屏的往往是一串刷新纪录的公开榜单分数，
> 但这些数字在真实生产环境里究竟有几分可信？资深工程师 Eugene Yan 对 Terminal Bench、
> DeepSWE、Harvey LAB、OSWorld 2.0 等 12 个主流 AI 智能体评测进行了全流程工程审计，
> 发现其中多达 8 个榜单存在评分器错杀合法方案或放过严重幻觉的机制漏洞。本文拆解 
> 12 大基准的设计机理、失效样本与重构方向。

![Eugene Yan 深度审计 12 个主流公开 AI 智能体评测基准机制与评分器失效原因封面图](
https://paooo.com/wp-content/uploads/2026/11/paooo-evaoo-1121-1300-1795237581338-
5099.avif)

## 一、 现代 Agent Benchmark 怎么建：四要素解剖与四大设计原则

随着模型迭代周期缩短，公开评测集早已不再是早年的静态选择题，而是演变成像软件工程
一样持续发版、接受 Issue 修复与淘汰饱和题目的复杂系统。例如 Agents’ Last Exam (ALE)
v1.1 退役了 30 道旧题并修订了 57 道题目，Harvey LAB 公开集自 2026 年 5 月上线以来
也从约 1,250 题扩充至 2,010 题。

阅读目录

 * [一、 现代 Agent Benchmark 怎么建：四要素解剖与四大设计原则](https://paooo.com/ai-study/43026/#%e4%b8%80-%e7%8e%b0%e4%bb%a3-agent-benchmark-%e6%80%8e%e4%b9%88%e5%bb%ba%e5%9b%9b%e8%a6%81%e7%b4%a0%e8%a7%a3%e5%89%96%e4%b8%8e%e5%9b%9b%e5%a4%a7%e8%ae%be%e8%ae%a1%e5%8e%9f%e5%88%99)
 * [二、 双向失真真相：8/12 主流评测评分器在如何“错判”？](https://paooo.com/ai-study/43026/#%e4%ba%8c-%e5%8f%8c%e5%90%91%e5%a4%b1%e7%9c%9f%e7%9c%9f%e7%9b%b8812-%e4%b8%bb%e6%b5%81%e8%af%84%e6%b5%8b%e8%af%84%e5%88%86%e5%99%a8%e5%9c%a8%e5%a6%82%e4%bd%95%e9%94%99%e5%88%a4)
    - [1. 假阴性（False Negatives）：把正确解法打成零分](https://paooo.com/ai-study/43026/#1-%e5%81%87%e9%98%b4%e6%80%a7false-negatives%e6%8a%8a%e6%ad%a3%e7%a1%ae%e8%a7%a3%e6%b3%95%e6%89%93%e6%88%90%e9%9b%b6%e5%88%86)
    - [2. 假阳性（False Positives）：让幻觉与关键词投机蒙混过关](https://paooo.com/ai-study/43026/#2-%e5%81%87%e9%98%b3%e6%80%a7false-positives%e8%ae%a9%e5%b9%bb%e8%a7%89%e4%b8%8e%e5%85%b3%e9%94%ae%e8%af%8d%e6%8a%95%e6%9c%ba%e8%92%99%e6%b7%b7%e8%bf%87%e5%85%b3)
 * [三、 12 大公开基准横向深潜：从科研计算、知识工作到桌面操控](https://paooo.com/ai-study/43026/#%e4%b8%89-12-%e5%a4%a7%e5%85%ac%e5%bc%80%e5%9f%ba%e5%87%86%e6%a8%aa%e5%90%91%e6%b7%b1%e6%bd%9c%e4%bb%8e%e7%a7%91%e7%a0%94%e8%ae%a1%e7%ae%97%e7%9f%a5%e8%af%86%e5%b7%a5%e4%bd%9c%e5%88%b0%e6%a1%8c)
 * [四、 我们到底哪里算错了账？推动 Agent 评测进化的五条工程准则](https://paooo.com/ai-study/43026/#%e5%9b%9b-%e6%88%91%e4%bb%ac%e5%88%b0%e5%ba%95%e5%93%aa%e9%87%8c%e7%ae%97%e9%94%99%e4%ba%86%e8%b4%a6%e6%8e%a8%e5%8a%a8-agent-%e8%af%84%e6%b5%8b%e8%bf%9b%e5%8c%96%e7%9a%84%e4%ba%94%e6%9d%a1%e5%b7%a5)
       * [📝 站长洞察 (Editor’s Insight)](https://paooo.com/ai-study/43026/#%f0%9f%93%9d-%e7%ab%99%e9%95%bf%e6%b4%9e%e5%af%9f-editor8217s-insight)

Eugene Yan 指出，几乎所有主流智能体评测任务都由**指令（Instruction）**、**工作区
环境（Environment）**、**评分器（Grader）**和可选的**专家参考解（Reference）**四
部分构成，但在底层评分工程上反复呈现出四条共性原则：

 * **确定性代码校验优先于 LLM 裁判**：为防止裁判模型升级导致榜单排位无端漂移，DeepSWE
   与 AutomationBench 完全弃用 LLM Judge；即便是法律备忘录或临床问诊等主观任务，
   也会把裁判职责压缩为逐条二元 Yes/No 核查。
 * **只验最终结果，不锁中间路径**：Terminal Bench、AutomationBench 与 OSWorld 2.0
   等均在运行结束后仅检查容器或业务系统终态，允许智能体采用任意合法命令或工具链求解。
 * **全通过（All-Pass）计分主宰高风险赛道**：如同 Harvey LAB 所言“发现 10 个风险
   里的 8 个不是 80% 有用，而是未完成”，DeepSWE、TBench 等均采用全票通过制；而 FrontierSWE、
   HealthBench Pro 则采用部分得分（Partial Credit）。
 * **面向难度挖矿延缓饱和**：AutomationBench 刻意注入无关干扰数据与冲突业务规则，
   HealthBench Pro 将高难度样本比例抽样放大约 3.5 倍，TBench 则在旧题饱和后直接剔除。

![公开 AI 评测任务的四大核心组件解剖：Instruction 指令、Environment 环境、Grader
评分器与 Reference 参考解](https://paooo.com/wp-content/uploads/2026/11/paooo-evaoo-
inline-1121-1300-1795237586058-1593.avif)

## 二、 双向失真真相：8/12 主流评测评分器在如何“错判”？

审计这 12 个评测集时，模型本身固然暴露出两大典型短板——**跳过终态校验提前交卷**（
OSWorld 2.0 中模型用于纠错和恢复的预算不足 7%；AutomationBench 在分析的失败案例中有
72%–91% 虚假宣告成功）以及**漏掉显式约束**（GDPval 中最普遍的失败就是指令遵循缺失）。
但更致命的问题藏在评分器（Grader）本身：在被研究的 12 个公开基准中，有 **8 个** 
被外部审计或 Issue 实锤存在错判。

### 1. 假阴性（False Negatives）：把正确解法打成零分

最常见的失真源于评分器验证了提示词里根本没写的隐含要求，或隐藏测试集与合理实现冲突。
Epoch AI 与 Preference Model 对 Terminal Bench 4.0 的复核发现，66 题中有 30 题存在
计分缺陷，65 题中有 41 题暗含未说明要求；一旦将这些隐含约束写明并封堵作弊路径，某
模型的得分直接从 **63% 跳升至 89%**。在 DeepSWE v1.1 中，隐藏测试文件与智能体自己
编写的测试文件发生编译冲突，导致至少 20% 题目（Epoch AI 确认为 113 题中的 18 题，
并给出“Flawed”评级）出现“越认真自测越拿不到分”的荒诞现象。OSWorld 2.0 也被外部复审
在 108 题中指出 23 题误杀合法输出（例如网页展示长名称而评分器硬匹配短名称），且 
31%–43% 的轨迹存在环境状态与评测记录不一致。

### 2. 假阳性（False Positives）：让幻觉与关键词投机蒙混过关

由于大多数断言和细则只检查“某个要点是否出现”，却不核对上下文是否真实自洽，大量严重
幻觉顺利拿到满分。Artificial Analysis 抽查 Harvey LAB 上满足全部细则的交付物时，
竟在超过 **60%** 的“满分答卷”中发现了关键事实幻觉（如写错当事方、金额或日期）。AutomationBench
公开集约 9,600 条断言中更有 **55%** 只是简单检测邮件或记录里是否包含某段子串——有
94 题甚至只检查文本中是否出现个位或两位数字（如“4”），哪怕消息里其他日期或编号碰巧
带了数字也能躺赢。

  |  评测基准 (领域) |  任务规模与核心机制 |  首发头部水平 |  核心评分器缺陷与审计实证 |  
   |  **Terminal Bench 4.1**
(命令行与工程) |  66 题 / Harbor 容器 / `All-Pass` |  v2.0 首发最高 `63%` |  65 题中 41 题考核未明说要求；显式补齐后同一模型由 63% 跳升至 89% |  
 |  **DeepSWE v1.1**(长程软件工程) |  113 题 / `mini-swe-agent` / 无 LLM 裁判 |  v1 首发最高 `81%` |  隐藏测试与智能体自建测试冲突，Epoch AI 核实 18/113 题误杀并评为 Flawed |  
 |  **FrontierSWE v2**(20h 科研与优化) |  34 题 / `Proximus` / 局部得分 0–1 |  v2 首发最高 `56%` |  自带自检工具替代问题定义判断；满分封顶设计掩盖超额优化差距 |  
 |  **AutomationBench**(跨应用 API 编排) |  600 公开 + 600+ 私有 / 47 模拟应用 |  私有集首发最高 `9.9%` |  115 题数值格式误杀（150,000 vs 150000.0）；55% 断言仅做脆弱子串匹配 |  
 |  **Harvey LAB v1.3**(长程法律尽调) |  2,010 公开 + 120 私有 / 11.4 万条细则 |  私有集首发最高 `7.1%` |  裁判不可见原始案卷，Artificial Analysis 查出 >60%“通过交付物”含实质幻觉 |  
 |  **OSWorld 2.0**(长程桌面操作) |  108 题 / Ubuntu VM / 500 步预算 |  首发全过 `20.6%` |  23/108 题被指出误杀有效解；31%–43% 轨迹存在环境复位或会话陈旧偏差 |

## 三、 12 大公开基准横向深潜：从科研计算、知识工作到桌面操控

Eugene Yan 将调研的 12 个基准按三大场景拆解了其任务构造、得分口径与隐藏陷阱，几乎
构成一份 2026 年 AI Agent 评测全景地图：

 * **编程与科学计算（4 项）**：除了 `Terminal Bench` 与 `DeepSWE`，**FrontierSWE
   v2** 为每题提供最高 20 小时预算与 GPU 容器，用确定性的加权指令数代替不稳定挂钟
   时间衡量性能优化，但最便宜达到 30% 以上得分的模型单次试跑成本也要 97 美元；**
   Terminal Bench Science v0.1** 精选 70 个专家中位耗时 12 小时的科研流任务（首发
   最高 30%），上线后却收到 106 个修复 Issue 涉及 55/70 题（其中 79 个直指校验器
   或指令 Bug，如行序不同即判错）。
 * **知识工作与专业领域（6 项）**：[OpenAI](https://paooo.com/tag/openai/) 主导的**
   GDPval** 覆盖 44 个职业 1,320 项任务，采用人类盲审胜率（人类专家间一致率 71%，
   裁判模型一致率 66%），但公开细则约一半在考格式与字段遵从；**Agents’ Last Exam(
   ALE)** 含 1,490 题（93% 确定性比对），却在 122 道 v1.1 公开题中用了 83 次“exact/
   exactly”强锁文件名，且约半数偏学术复现；**Finance Agent v2.1**（926 题投行研报，
   三 LLM 陪审团+一票否决 Dealbreaker，首发部分分 68%）也存在未明说的同业均值要求；**
   HealthBench Pro**（525 题临床对话）平均每题仅约 2 条评分标准（47% 只有 1 条正向
   标准），且对所有任务统一按 2,000 字符基线做长度扣分，忽视了临床记录本身的合理
   长度跨度（600–3,800 字符）。
 * **网页浏览与电脑操控（2 项）**：**BrowseComp**（1,266 道倒推式多跳检索题）在发布
   时让 Deep Research 拿到 51.5% 远超人类 29%，但人工复核发现 14%（50/367 题）参考
   答案存在争议；**OSWorld 2.0** 引入了支持中途插话改需求、允许主动向模拟用户追问
   的设计，却依然受困于高达 31%–43% 的环境状态同步故障。

![Harvey Legal Agent Benchmark (LAB) 将律所合伙人交办工作流编码为智能体评测任务的
架构图](https://paooo.com/wp-content/uploads/2026/11/paooo-evaoo-inline-1121-1300-
1795237589902-7373.avif)

![OSWorld 2.0 长程桌面操作系统智能体评测环境与多维度校验框架示意图](https://paooo.
com/wp-content/uploads/2026/11/paooo-evaoo-inline-1121-1300-1795237593653-5438.avif)

## 四、 我们到底哪里算错了账？推动 Agent 评测进化的五条工程准则

面向即将进入大规模业务落地的工程团队，Eugene Yan 在报告中给出了五条直击痛点的范式
纠偏建议：

 * **1. 用 `pass^k` 可靠性替代“平均通过率”**：两个表面均分都是 70% 的智能体，A 能
   稳定搞定其中 70% 的任务，B 则是每道题都只有 70% 概率做对。在连续 5 次试跑的 `
   pass^5` 口径下，前者依然是 70%，后者会暴跌至 17%。生产环境宁愿为稳定交付支付 
   2 倍成本，也不愿用 1 倍价格买来需要人工逐一擦屁股的抽卡模型。
 * **2. 稀缺资源是人类注意力，而不是单次 Token 账单**：便宜的模型往往通过提前放弃（
   ALE 中 17% 失败是过早交卷；FrontierSWE 中某模型 170 次测试有 169 次在 8 小时内
   草草提交）或虚假报喜来拉低平均美元成本。GDPval 实测显示，GPT-4o 单次成本虽只有
   GPT-5 的十分之一，但算上专家审核与返工耗时后，反倒比专家纯手工更慢。
 * **3. 警惕“可验证性偏置”吞噬判断力测试**：为了实现代码级自动校验，许多基准把开放
   问题改成照抄参考设计（如复刻指定游戏），或直接喂给智能体自检打分工具。这测出的
   只是“按图施工的执行力”，而非工程中最值钱的“定义问题边界与取舍判断力”。
 * **4. 从单轮指令走向多轮纠偏**：真实用户永远是在草稿与对话中逐步补全并修改需求。
   Laban 等人的研究证实，模型在模拟多轮对话中的表现比单轮平均暴跌 **39%**。
 * **5. 把算力预算分给评分器审计，且务必在自家 Harness 里实测**：对“前沿模型集体
   失败”的题目优先排查假阴性，引入空跑/作弊智能体与轨迹审查防范假阳性。同时切记，
   榜单测的永远是“模型 + Harness”的耦合体——在 Terminal Bench 2.0 上，同一模型在中立`
   Terminus 2` 框架跑出 57.8%，换用自家厂商框架却只有 52.1%（另一模型为 32.6% vs
   19.6%）。因此公开榜单只配用来缩小选型范围，最终拍板必须在你自己的生产 Harness
   中完成。

#### 📝 站长洞察 (Editor’s Insight)

Eugene Yan 这篇万字审计给所有盲信榜单 SOTA 的 AI 工程团队敲响了警钟。我们平时看[大模型](https://paooo.com/ai-study/)
发布会，习惯盯着又刷高了几个点的总分，却极少追问评分器是否藏着未明说的字段格式陷阱、
环境复位是否丢了状态、以及这个分数究竟来自模型本身还是定制 Harness 的提示词工程。
尤其是 pass^k 与“人类复核注意力成本”两个视角，直接点破了生产级 Agent 落地的核心矛盾：
企业从不缺在 Demo 里偶尔惊艳一次的模型，真正稀缺的是敢于无人值守连续跑通 5 次不翻
车的稳定性，以及失败时绝不撒谎说“已完成”的诚实度。建议团队在选型前，先用自家业务
真实工具链搭一套 30 题以内的黄金回归集。

🧭 文中关联 AI 工具官网与参数卡（语宙 AI 导航）

**Harvey ↗**

Harvey是专业特定领域AI，为多行业提供精准任务委托、知识检索等功能，具备多种特色，
应用广泛。

❓ 常见问题解答（FAQ）

AI智能体评测为什么会误判？

核心原因是评分器把提示词里没写明的隐含要求当成硬条件，或只做关键词/子串匹配，不核对
上下文与终态一致性，导致合法解法被零分、幻觉答案却能过关。

Terminal Bench 和 DeepSWE 的问题是什么？

Terminal Bench 被指出存在大量未明说要求，补齐约束后分数会显著变化；DeepSWE 则出现
隐藏测试与智能体自测冲突，导致越认真验证越可能拿不到分。

什么是 All-Pass 计分，适合哪些任务？

All-Pass 是“全通过才算成功”的计分方式，常用于高风险或强一致性任务，能避免部分正确
掩盖关键错误。文中提到 DeepSWE、TBench 采用此类机制，而 FrontierSWE、HealthBench
Pro 则使用部分得分。

🔬 语宙深潜追问 · 进阶实操拆解

pass^k 该怎么设才不虚高？

先按任务难度分层设定 k，再看边际提升是否收敛；若多次采样仍大幅波动，说明模型靠运气
过关。最好结合失败样本回放，避免把偶然通过误判为稳定能力。

All-Pass 和终态校验怎么一起用？

All-Pass 适合筛掉明显不稳定的方案，终态校验负责确认最终输出是否真正满足约束。实战
里应先做批量粗筛，再对高分样本做终态审计，防止评分器放过幻觉或误杀正确答案。

🗳️ 读者观点微投票 · 您的实战立场是？

你更信榜单分数还是终态审计？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🤖 所属权威专题：AI Agent 智能体工作流 →](https://paooo.com/topics/ai-agents/)

 * [OpenAI炮轰AI评测”标杆”： 731 道题近三成有缺陷， 8 个月通过率从23%飙到80%已失灵](https://paooo.com/aigc-news/28688/)
 * [PaperBench – OpenAI 开源的 AI 智能体评测基准](https://paooo.com/aigc-news/20558/)
 * [谁才是 2026 编码智能体之王？7 大开源 Coding Agent 巅峰对决 Claude Code：统一模型底座、6 大极限用例实测与 Token 成本全景横评](https://paooo.com/trends/40379/)
 * [腾讯甩出 WorkBuddy Bench：一套把代码、网页、办公、安全全装进来的编码智能体考场](https://paooo.com/aigc-news/38894/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/ai-study/43026/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
