💡 站外导读:在过去一年里,AI评估机构METR绘制的“能力时间跨度图(Time Horizon Plot)”几乎成了科技圈论证大模型指数级演进的御用图表——曲线显示AI能独立完成的任务时长每4个月翻一倍。然而11月20日,MIT Technology Review披露METR对该图表进行了重大更新,首次引入设计评测方案与哲学论证评分等需要主观判断的开放式任务,结果却给狂热的“全自动AI研发论”浇了一盆冷静的冷水。

一、 “每 4 个月翻一倍”从何而来?为什么这张图被全行业严重误读?
理解此次更新的震动效应,必须先厘清 METR 原始“时间跨度图”的度量方法。METR 的评估逻辑非常直观:先让人类测试者去完成一系列基准任务,以人类实际耗费的时长来标定每个任务的难度等级,再让前沿大模型尝试完成这些任务,由此得出“AI 能够成功接管多长时间人类工作”的量化轨迹。原图描绘出的每 4 个月任务时长翻倍的陡峭曲线,成为全网传播最广、也最容易被断章取义的 AI 进展图腾。
争议的核心在于:原版任务集几乎全部集中在软件工程和数学等“可自动验证(Verifiable)”的领域。在这类任务中,代码能否跑通单元测试、数学题答案是否等于标准解,都可以由程序自动化判定。研究人员通过强化学习(RL)让神经网络反复尝试、强化成功路径并削弱失败路径,自然能刷出惊人的指数增长曲线。但问题在于,一旦走出有明确标准答案的沙盒,这套能力究竟能多大程度迁移到真实世界?就在本月早些时候,另一份高度删节的 METR 报告曾宣称 AI 可能将刚完成 IPO 的 Anthropic 内部研发效率提升两倍,一度引爆“完全递归自我改进(RSI)”近在眼前的恐慌,这也让外界更加迫切地想知道模型在真正开放、模糊的科研决策任务上究竟几斤几两。
二、 开放式与主观判断任务实测:从“无一可用”到 Opus 5.5 的临界试探
为了逼近“AI 能否真正自动化 AI 研发(AI R&D)”的核心命题,METR 在新版时间跨度图中特意加入了一批周期更长、高度依赖主观判断且缺乏唯一标准答案的开放性任务,其中包括两个最具代表性的试金石:
- 设计新的 AI 评测方案:让大模型构思可用于 METR 自身研究的新型 AI 评估基准,再由 METR 人类研究员逐一打分。尽管前沿大模型在常规编程基准上早已碾压绝大多数人类工程师,但在这一需要“科研品味”的任务上,没有任何一个 AI 设计的评测集被 METR 员工认为达到可用于实际研究的标准;
- 评估哲学论证质量:考察模型在缺乏客观判据时的逻辑权衡与判断力(尽管 METR 内部对这项任务与 AI 研发自动化的直接相关性仍有分歧),结果同样是整体落后于人类表现。
不过,对比历史基线,新报告也并非毫无亮色。一年之前,所有参与测试的模型在评测设计任务上均落入“明显低于门槛(clearly below the bar)”区间;而此次部分最新前沿模型(如 Opus 5.5)已经开始触摸到 METR 所称的“临界达标线之上(borderline above the bar)”——虽然仍未达到直接投入科研使用的成熟度,但已显示出一定的向上爬坡迹象。
| 对比分析维度 | 可自动验证任务(原版主力) | 开放与主观判断任务(新版新增) | 对自主 AI 研发 (RSI) 的工程启示 |
|---|---|---|---|
| 典型任务形态 | 软件工程修复、数学竞赛推导、脚本编写 | 设计新的 AI 评测基准、评估复杂哲学论证 | 决定模型能否从“高级工具”跨向“独立研究员” |
| 验证与训练机制 | 结果可程序化自动判别,适合大规模强化学习 (RL) | 成功标准模糊、反馈周期长,极难构造自动奖励信号 | RL 算力堆叠在开放科研选题与假设设计上面临收益递减 |
| 当前模型实测水准 | 保持每约 4 个月任务时长翻倍的指数级增长 | 未达人类可用基准(Opus 5.5 仅达临界线上) | 编程能力超群 ≠ 具备独立提出高质量科学假设的品味 |
| 任务难度标定方式 | 组织人类测试者实际执行并记录真实耗时 | 耗时数百小时且需顶尖专家,多数依赖时长估算 | 长周期开放任务的人力评估成本与信度本身已成为新瓶颈 |
三、 “研究品味”才是隐形天花板:来自伯克利、波士顿大学与 OpenAI 的交叉印证
对于 METR 揭露的能力断层,学术界与一线大模型实验室的多位研究者给出了高度一致的冷思考。即将出任加州大学伯克利分校教授的计算机科学家 Sayash Kapoor 直言对这一结果并不意外——早在今年 8 月的一篇预印本论文中,他与合作者就已证明现有 AI 模型尚无法独立复现人类计算机科学研究。无独有偶,OpenAI 本周三发布的一篇官方博客也坦承,其模型在处理内部员工分配的真实复杂工作时,表现明显不如在 METR 原版易验证任务集上那般游刃有余。
在 Kapoor 看来,真正的瓶颈在于“研究品味(Research Taste)”——即在茫茫未知中决定哪一个问题值得发问、哪一条假设有潜力、以及如何设计关键对照实验的综合判断力。虽然业界仍有乐观派认为,只要在易验证任务上持续扩大训练规模,泛化能力最终会外溢到开放任务上,但波士顿大学语言学与计算机科学家 Najoung Kim 保持谨慎态度:目前观测到的局部进步确实说明模型在演进,但至于这种趋势在更复杂的开放空间里该如何外推,学界尚无可靠公式。
四、 评测科学自身的困境:当测试人类都需要数百小时与顶配专家时
《麻省理工科技评论》在报道末尾指出了一个极少被公众注意到的方法论困境:制约我们判断“全自动 AI 研发何时到来”的,不仅是模型本身的能力短板,更是人类评估体系的物理极限。在 METR 初版时间跨度图中,每一个任务的时间标尺都是找来真实人类测试者一步步跑出来的;然而在新版包含超长周期的复杂任务中,许多工作可能需要数百小时才能完成,且全行业仅有寥寥数位合格专家具备胜任资格,请真人全部跑一遍在成本和时间上已完全不可行,导致新版图中的完成时长大多只能退而求其次采用“人工估算”。
这种数据稀疏性也带来了显著的方差隐患。例如在哲学论证评分任务中,绝大部分论点其实仅由单名人类评估者给出基准分,这意味着系统实际上是在测试 AI 智能体“有多认同那位特定审稿人的观点”;如果换一批专家重新打分,结论是否会翻转尚未可知。正如 METR 技术团队成员 Matt Putz 所言,依赖主观判断和难以验证的任务天生就极难系统研究和量化,“最终,我们大概率无法为这类任务建立起像易规范任务那样干净、稳健的指数趋势线。”
📝 站长洞察 (Editor’s Insight)
METR 此次图表更新给所有技术决策者和开发者划出了两条极其清晰的边界:第一,切勿把大模型在“单元测试通过率”或“LeetCode 级编程时长”上的指数曲线,线性外推为“AI 已经能独立接管复杂工程决策与科研规划”。强化学习天然偏爱奖励函数明确、验证反馈瞬时的闭环环境,一旦进入需求模糊、权衡多方妥协的开放地带,Opus 5.5 依然只是刚刚摸到及格边缘;第二,评测基准本身的构建已经进入“高成本深水区”,企业内部如果指望靠几个自动化脚本去评估智能体的商业决策与业务品味,大概率会重蹈只测易验证指标的盲区,必须为开放任务保留高水准的人类专家抽检闭环。
METR时间跨度图为什么被认为被误读了?
因为原版主要基于软件工程和数学等可自动验证任务,结果容易通过程序判定,强化学习也更容易刷出增长曲线。但这不等于模型在开放科研、主观判断和真实研发场景中同样强。
新版METR评测新增了哪些任务?
新版加入了更依赖主观判断、缺乏唯一标准答案的开放式任务,例如设计新的AI评测方案、评估复杂哲学论证质量,用来更接近检验AI是否能自动化AI研发。
这是否说明AI还不能独立做科研?
是的,至少从这次更新看还不能。模型在可验证任务上进步很快,但在研究品味、假设选择、实验设计等关键环节仍明显弱于人类,距离独立科研还有硬门槛。
开放式任务该怎么重新设计评测?
把“答案对不对”改成“过程是否可复现、证据是否充分、结论是否可审计”。优先用多轮任务、对照组和人工复核,减少单次主观打分带来的噪声。
想做自主AI研发,最先补哪类能力?
先补任务分解、实验规划、失败回滚和结果验证四件事。真正的瓶颈不是生成代码,而是持续提出可检验假设,并在不确定环境里稳定迭代。
