Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: 每4个月翻倍的神话仅限写代码?METR更新AI能力时间跨度图:主观判断与评测设计全军覆没,自主AI研发仍有硬墙
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
MIT Technology Review深度剖析METR更新AI能力时间跨度图与开放判断型任务瓶颈
Prompt 语宙 > 强化 AI 学习 > 每4个月翻倍的神话仅限写代码?METR更新AI能力时间跨度图:主观判断与评测设计全军覆没,自主AI研发仍有硬墙
强化 AI 学习

每4个月翻倍的神话仅限写代码?METR更新AI能力时间跨度图:主观判断与评测设计全军覆没,自主AI研发仍有硬墙

Prompt 语宙研究院
最近更新: 2026年11月21日 上午5:06
AI基准评测 METR 强化学习 时间跨度图 递归自我改进
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 原版“每4个月翻倍”主要来自可自动验证任务,容易被误读为全领域能力爆发。
  • 新增开放式任务后,模型在评测设计与主观判断上仍明显落后人类,Opus 5.5也仅接近临界线。
  • 真正瓶颈不是写代码,而是研究品味、问题选择与实验设计,自动化AI研发仍未跨过门槛。

💡 站外导读:在过去一年里,AI评估机构METR绘制的“能力时间跨度图(Time Horizon Plot)”几乎成了科技圈论证大模型指数级演进的御用图表——曲线显示AI能独立完成的任务时长每4个月翻一倍。然而11月20日,MIT Technology Review披露METR对该图表进行了重大更新,首次引入设计评测方案与哲学论证评分等需要主观判断的开放式任务,结果却给狂热的“全自动AI研发论”浇了一盆冷静的冷水。

MIT Technology Review深度剖析METR更新AI能力时间跨度图与开放判断型任务瓶颈

一、 “每 4 个月翻一倍”从何而来?为什么这张图被全行业严重误读?

理解此次更新的震动效应,必须先厘清 METR 原始“时间跨度图”的度量方法。METR 的评估逻辑非常直观:先让人类测试者去完成一系列基准任务,以人类实际耗费的时长来标定每个任务的难度等级,再让前沿大模型尝试完成这些任务,由此得出“AI 能够成功接管多长时间人类工作”的量化轨迹。原图描绘出的每 4 个月任务时长翻倍的陡峭曲线,成为全网传播最广、也最容易被断章取义的 AI 进展图腾。

阅读目录
  • 一、 “每 4 个月翻一倍”从何而来?为什么这张图被全行业严重误读?
  • 二、 开放式与主观判断任务实测:从“无一可用”到 Opus 5.5 的临界试探
  • 三、 “研究品味”才是隐形天花板:来自伯克利、波士顿大学与 OpenAI 的交叉印证
  • 四、 评测科学自身的困境:当测试人类都需要数百小时与顶配专家时
      • 📝 站长洞察 (Editor’s Insight)

争议的核心在于:原版任务集几乎全部集中在软件工程和数学等“可自动验证(Verifiable)”的领域。在这类任务中,代码能否跑通单元测试、数学题答案是否等于标准解,都可以由程序自动化判定。研究人员通过强化学习(RL)让神经网络反复尝试、强化成功路径并削弱失败路径,自然能刷出惊人的指数增长曲线。但问题在于,一旦走出有明确标准答案的沙盒,这套能力究竟能多大程度迁移到真实世界?就在本月早些时候,另一份高度删节的 METR 报告曾宣称 AI 可能将刚完成 IPO 的 Anthropic 内部研发效率提升两倍,一度引爆“完全递归自我改进(RSI)”近在眼前的恐慌,这也让外界更加迫切地想知道模型在真正开放、模糊的科研决策任务上究竟几斤几两。

二、 开放式与主观判断任务实测:从“无一可用”到 Opus 5.5 的临界试探

为了逼近“AI 能否真正自动化 AI 研发(AI R&D)”的核心命题,METR 在新版时间跨度图中特意加入了一批周期更长、高度依赖主观判断且缺乏唯一标准答案的开放性任务,其中包括两个最具代表性的试金石:

  • 设计新的 AI 评测方案:让大模型构思可用于 METR 自身研究的新型 AI 评估基准,再由 METR 人类研究员逐一打分。尽管前沿大模型在常规编程基准上早已碾压绝大多数人类工程师,但在这一需要“科研品味”的任务上,没有任何一个 AI 设计的评测集被 METR 员工认为达到可用于实际研究的标准;
  • 评估哲学论证质量:考察模型在缺乏客观判据时的逻辑权衡与判断力(尽管 METR 内部对这项任务与 AI 研发自动化的直接相关性仍有分歧),结果同样是整体落后于人类表现。

不过,对比历史基线,新报告也并非毫无亮色。一年之前,所有参与测试的模型在评测设计任务上均落入“明显低于门槛(clearly below the bar)”区间;而此次部分最新前沿模型(如 Opus 5.5)已经开始触摸到 METR 所称的“临界达标线之上(borderline above the bar)”——虽然仍未达到直接投入科研使用的成熟度,但已显示出一定的向上爬坡迹象。

对比分析维度 可自动验证任务(原版主力) 开放与主观判断任务(新版新增) 对自主 AI 研发 (RSI) 的工程启示
典型任务形态 软件工程修复、数学竞赛推导、脚本编写 设计新的 AI 评测基准、评估复杂哲学论证 决定模型能否从“高级工具”跨向“独立研究员”
验证与训练机制 结果可程序化自动判别,适合大规模强化学习 (RL) 成功标准模糊、反馈周期长,极难构造自动奖励信号 RL 算力堆叠在开放科研选题与假设设计上面临收益递减
当前模型实测水准 保持每约 4 个月任务时长翻倍的指数级增长 未达人类可用基准(Opus 5.5 仅达临界线上) 编程能力超群 ≠ 具备独立提出高质量科学假设的品味
任务难度标定方式 组织人类测试者实际执行并记录真实耗时 耗时数百小时且需顶尖专家,多数依赖时长估算 长周期开放任务的人力评估成本与信度本身已成为新瓶颈

三、 “研究品味”才是隐形天花板:来自伯克利、波士顿大学与 OpenAI 的交叉印证

对于 METR 揭露的能力断层,学术界与一线大模型实验室的多位研究者给出了高度一致的冷思考。即将出任加州大学伯克利分校教授的计算机科学家 Sayash Kapoor 直言对这一结果并不意外——早在今年 8 月的一篇预印本论文中,他与合作者就已证明现有 AI 模型尚无法独立复现人类计算机科学研究。无独有偶,OpenAI 本周三发布的一篇官方博客也坦承,其模型在处理内部员工分配的真实复杂工作时,表现明显不如在 METR 原版易验证任务集上那般游刃有余。

在 Kapoor 看来,真正的瓶颈在于“研究品味(Research Taste)”——即在茫茫未知中决定哪一个问题值得发问、哪一条假设有潜力、以及如何设计关键对照实验的综合判断力。虽然业界仍有乐观派认为,只要在易验证任务上持续扩大训练规模,泛化能力最终会外溢到开放任务上,但波士顿大学语言学与计算机科学家 Najoung Kim 保持谨慎态度:目前观测到的局部进步确实说明模型在演进,但至于这种趋势在更复杂的开放空间里该如何外推,学界尚无可靠公式。

四、 评测科学自身的困境:当测试人类都需要数百小时与顶配专家时

《麻省理工科技评论》在报道末尾指出了一个极少被公众注意到的方法论困境:制约我们判断“全自动 AI 研发何时到来”的,不仅是模型本身的能力短板,更是人类评估体系的物理极限。在 METR 初版时间跨度图中,每一个任务的时间标尺都是找来真实人类测试者一步步跑出来的;然而在新版包含超长周期的复杂任务中,许多工作可能需要数百小时才能完成,且全行业仅有寥寥数位合格专家具备胜任资格,请真人全部跑一遍在成本和时间上已完全不可行,导致新版图中的完成时长大多只能退而求其次采用“人工估算”。

这种数据稀疏性也带来了显著的方差隐患。例如在哲学论证评分任务中,绝大部分论点其实仅由单名人类评估者给出基准分,这意味着系统实际上是在测试 AI 智能体“有多认同那位特定审稿人的观点”;如果换一批专家重新打分,结论是否会翻转尚未可知。正如 METR 技术团队成员 Matt Putz 所言,依赖主观判断和难以验证的任务天生就极难系统研究和量化,“最终,我们大概率无法为这类任务建立起像易规范任务那样干净、稳健的指数趋势线。”

📝 站长洞察 (Editor’s Insight)

METR 此次图表更新给所有技术决策者和开发者划出了两条极其清晰的边界:第一,切勿把大模型在“单元测试通过率”或“LeetCode 级编程时长”上的指数曲线,线性外推为“AI 已经能独立接管复杂工程决策与科研规划”。强化学习天然偏爱奖励函数明确、验证反馈瞬时的闭环环境,一旦进入需求模糊、权衡多方妥协的开放地带,Opus 5.5 依然只是刚刚摸到及格边缘;第二,评测基准本身的构建已经进入“高成本深水区”,企业内部如果指望靠几个自动化脚本去评估智能体的商业决策与业务品味,大概率会重蹈只测易验证指标的盲区,必须为开放任务保留高水准的人类专家抽检闭环。

🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
Anthropic ↗
Anthropic:人工智能安全和研究公司,面向大语言模型场景提供便捷实用的在线功能支持,涵盖智能工具等实用方向
Opus ↗
Opus助力创意革新,在内容创作与营销推广等方面发挥作用,提供独特创作体验。
❓ 常见问题解答(FAQ)
METR时间跨度图为什么被认为被误读了?

因为原版主要基于软件工程和数学等可自动验证任务,结果容易通过程序判定,强化学习也更容易刷出增长曲线。但这不等于模型在开放科研、主观判断和真实研发场景中同样强。

新版METR评测新增了哪些任务?

新版加入了更依赖主观判断、缺乏唯一标准答案的开放式任务,例如设计新的AI评测方案、评估复杂哲学论证质量,用来更接近检验AI是否能自动化AI研发。

这是否说明AI还不能独立做科研?

是的,至少从这次更新看还不能。模型在可验证任务上进步很快,但在研究品味、假设选择、实验设计等关键环节仍明显弱于人类,距离独立科研还有硬门槛。

🔬 语宙深潜追问 · 进阶实操拆解
开放式任务该怎么重新设计评测?

把“答案对不对”改成“过程是否可复现、证据是否充分、结论是否可审计”。优先用多轮任务、对照组和人工复核,减少单次主观打分带来的噪声。

想做自主AI研发,最先补哪类能力?

先补任务分解、实验规划、失败回滚和结果验证四件事。真正的瓶颈不是生成代码,而是持续提出可检验假设,并在不确定环境里稳定迭代。

🗳️ 读者观点微投票 · 您的实战立场是?
AI真能跨过自主研发这道硬墙吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
  • 年底狂省超4500万美元算力!Meta揭秘AI智能体规模化接管广告排序模型优化:生产力翻3倍、训练算力降4倍全拆解
  • 别再数Token了:OpenAI甩出AI时代记分卡,用”有用智能每美元”给CFO算清ROI
  • OpenAI炮轰AI评测”标杆”: 731 道题近三成有缺陷, 8 个月通过率从23%飙到80%已失灵
  • P90研究员日烧2.3万美元Token,推理栈编写却仅25%成功率!OpenAI实测编码智能体加速AI研究的“参差前沿”与递归进化边界
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
苹果新推出的设备内及云端服务器基础模型介绍 [译]
大语言模型程序 [译]
万亿参数开源模型进入性价比时代!Mistral Large 4正式开源:首创Le Chonk架构、编程Token消耗减半与三档RL推理实战全景拆解
DREAM: 分布式 RAG 实验框架 [译]
VRAG-RL框架详解:阿里通义如何用强化学习突破多模态RAG推理瓶颈?
TAGGED:AI基准评测METR强化学习时间跨度图递归自我改进
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 Search Engine Journal长文解读真人专家背书如何主导SEO与AI搜索GEO长期信任体系 AI搜索最怕“无名之辈”!20年算法演进与32.5万Prompt实测揭秘:为何真人专家E-E-A-T才是穿越SEO与GEO周期的硬通货
下一篇 安全研究员HD Moore在AI供应链路由与网关中植入200万个金丝雀凭证揭示大面积隐私泄露风险 200万个金丝雀密钥引爆AI供应链丑闻!OpenRouter等路由下游被揭黑盒盗刷:3家托管商已遭黑客驻留、ZDR零留存竟成摆设
Ad image
Ad image

最近更新

Latent Space 对话 Black Forest Labs 核心创始人 Andreas Blattmann 与 Dustin Podell:从 FLUX 到视觉智能与世界动作模型
视觉智能为什么不能只靠静态图片?对话Black Forest Labs创始人:FLUX 3音画联合训练、扩散与自回归之争及世界动作模型全拆解
强化 AI 学习
Google 官方详解网站迁移至 CDN 如何避免爬虫流量激增打崩源站与误封 Googlebot 导致搜索掉收录
刚切上CDN源站反被爬虫打崩?Google官方拆解迁移翻车悖论:冷缓存雪崩、验证码误杀与预热止血指南
AI 工具
GitHub 正式上线 Repository insights 页面,集中展示 Copilot 代码审查采纳率与评论分类统计结果
AI代码审查到底有没有被采纳?GitHub上线Repository insights与repos-1-day API:四维信号、力度趋势及统计陷阱全拆解
AI 工具
Forrester AI 颠覆评估模型 17 大技术与服务品类分布图:呈现受颠覆、中立、争夺与加速四类市场象限及细分赛道数量
80%技术市场面临AI重塑冲击!Forrester拆解200+细分赛道颠覆矩阵:四大象限与Top 20合同采购谈判实战
最新趋势

相关推荐

截图(2/2)展示了在 ChatGPT 4 中,如何通过不可见的 Unicode 指令进行提示注入
强化 AI 学习

通过在粘贴的文本中加入不可见指令,实现对大语言模型的提示注入 [译]

宝玉的分享
AI办公效率 AI智能体 ChatGPT OpenAI 亚马逊
提示工程 [译]
强化 AI 学习

提示工程 [译]

宝玉的分享
AI智能体 AI编程 Claude Llama OpenAI 大模型微调 提示工程
OpenAI 官方提示工程指南 [译]
强化 AI 学习

OpenAI 官方提示工程指南 [译]

宝玉的分享
AI办公效率 AI智能体 AI绘画提示词 OpenAI RAG检索增强
Step3-VL-10B:阶跃星辰开源10B参数多模态模型,性能对标200B级巨模,端侧部署新标杆
AI 工具AIGC 资讯

Step3-VL-10B:阶跃星辰开源10B参数多模态模型,性能对标200B级巨模,端侧部署新标杆

Prompt 语宙研究院
多模态大模型 开源模型 强化学习 端侧部署 视觉语言模型
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.