在人工智能能力狂飙突进的当下,AI巨头Anthropic罕见地按下了“暂停键”。当地时间6月4日,Anthropic在官网发布了一篇题为《当AI构建自身》(When AI builds itself)的重磅文章,首次系统性地披露了AI在编写和改进自身代码方面的惊人进展。文章不仅描绘了“递归自我改进”(即AI在无人类介入下自主升级)的逼近,更罕见地呼吁全球放缓前沿AI的研发步伐,以防范潜在的失控风险。
Anthropic在文章中用一系列震撼的内部数据证明了AI研发效率的指数级跃升。截至2026年5月,Anthropic合并进代码库的代码中,已有超过80%由旗下AI助手Claude自主编写;而在2026年第二季度,其工程师平均交付的代码量达到了2024年同期的8倍。在具体的科研与工程任务中,AI的表现同样令人瞩目:在优化小模型训练代码的测试中,Claude的加速能力在一年内从3倍飙升至52倍;在排查数万项训练任务崩溃的故障时,AI仅用2小时便定位并修复了问题,而人类通常需要2到3天。此外,AI独立稳定完成任务的时长,已从早期的“每7个月翻倍”缩短至如今的“每4个月翻倍”。
随着AI在“执行”层面(如写代码、跑实验)几乎不再消耗人类时间,Anthropic警告,在充足算力的支持下,AI极有可能形成一个不断自我迭代增强的能力闭环,即“递归自我改进”。尽管Anthropic强调这一阶段尚未完全到来,也并非不可避免,但其到来的时间大概率会早于大多数机构的预期。如果AI彻底跨入全面自建下一代系统的阶段,当前模型中微小的“不对齐”行为可能会在迭代中被复利放大,导致人类失去对AI系统的控制权。
面对这一潜在的生存风险,Anthropic在文章中提出了一个极具争议的建议:国际社会、政府及顶尖AI实验室应共同努力,建立一个有效的全球协调机制,在必要时主动放慢或暂时停止前沿AI的发展。公司认为,给社会结构和AI对齐研究留出调适时间大有裨益。然而,Anthropic也坦言这一机制的落地极其困难,因为AI训练比导弹发射井更容易隐藏,且秘密违约的商业诱惑极大,一旦有竞争对手加速前进,谨慎的企业就会失去领先地位。
值得注意的是,Anthropic选择在这个时间点发布这篇“刹车”宣言,时机颇为微妙。就在几天前的6月1日,公司刚刚向美国证券交易委员会(SEC)秘密递交了S-1注册声明草案,正式启动IPO筹备流程。目前,Anthropic的年化收入已突破470亿美元,估值高达9650亿美元,超越了竞争对手OpenAI。在这场商业狂飙与技术失控的博弈中,这篇长文既是AI行业迄今为止最诚实的自白,也折射出前沿科技在加速与刹车之间的深刻悖论。
Anthropic为什么呼吁放缓前沿AI研发?
因为其认为AI在写代码、跑实验等“执行”层面已接近自动化,若进一步形成递归自我改进闭环,模型中的微小不对齐可能被迭代放大,带来失控风险,因此主张全球协调并在必要时放缓研发。
Anthropic披露了哪些AI自我改进进展?
文章称,截至2026年5月,Anthropic合并进代码库的代码中超过80%由Claude自主编写;2026年第二季度工程师平均交付代码量达2024年同期8倍,且Claude在部分训练优化任务中的加速能力一年内从3倍提升到52倍。
递归自我改进是什么意思?
指AI在无人类深度介入下,利用自身能力持续改进下一代系统,形成自我增强闭环。Anthropic认为这一阶段尚未完全到来,但可能比多数机构预期更早出现。
如何给AI造AI加安全边界?
把模型用于代码生成、测试、审查时,必须引入权限隔离、变更审批、沙箱执行和回滚机制。关键是让AI只负责建议,不直接拥有生产环境写权限,并用自动化评测持续监控幻觉、越权和连锁错误。
企业怎样避免递归失控风险?
不要让单一模型闭环完成“生成-提交-上线”全流程,至少保留人工复核和多模型交叉验证。对高风险模块设置阈值:小改动自动合并,大改动强制人工审批,同时记录每次模型决策链路便于追责。
