💡 站外导读:AI 智能体能否自己写出超越人类工程师的底层基础设施?CMU 与英伟达等团队在最新基准 Singularity-Bench 中交出震撼实证:面对从零手搓推理服务、集群调度等六道 AI 研发硬核考题,Claude Opus 5.5 搭配 Claude Code 拿下“五胜一平”反超人类基线,其自研推理引擎更在同等硬件下将 P90 首字延迟从 SGLang 约 12 秒压至 0.48 秒。

一、 告别刷题式评测:Singularity-Bench 如何拷问“AI 造 AI”的极限?
过去两年衡量编程智能体的主流基准(如 SWE-bench)大多停留在“修一个 GitHub Issue”或“补全局部单元测试”的层面,距离真正意义上的系统级 AI 研发自主化相去甚远。为此,卡内基梅隆大学等研究团队正式推出名为 Singularity-Bench(《Can Agents Build Agents?》) 的开放式长程基准,将考场直接搬进了现代大模型实验室最核心的基础设施工程现场。
整套基准横跨现代 AI 工程栈的六个关键分层:预训练(Pre-training)、中期训练(Mid-training)、后训练(Post-training)、推理服务(Inference)、智能体运行框架(Agent Harnesses)以及集群编排(Cluster Orchestration)。在每道考题中,智能体都只能拿到一个极简起始代码库、严格的硬件配额与时间预算,并且在彻底断网的隔离环境下独立攻关,最终作品直接与业界久经考验的人类工程参考框架同台对决。
二、 P90 延迟从 12 秒压至 0.48 秒:自研引擎如何跑赢 SGLang v0.5.20?
在六大考题中,最令系统架构师惊呼的莫过于推理层工程挑战(Inference Engineering Task)。主办方给参赛智能体提供了一套基础的服务端骨架代码以及 4 块 NVIDIA GB300 GPU,要求其在断网条件下从头构建一套能扛住高并发真实编程对话流量的高性能推理与模型服务引擎,负责请求接管、GPU 显存与计算调度及流式响应返回。
作为标尺的人类工程基线,是社区公认高性能的成熟推理引擎 SGLang(v0.5.20)。在 16 路真实编程会话并发流量的同等压力测试下,SGLang 基线的 P90 首 token 延迟(TTFT)约为 12 秒;而由 Claude Opus 5.5 + Claude Code 自主设计并编码实现的定制推理引擎,不仅稳定跑通了全链路流式输出,还将 P90 首 token 延迟一举压低至 0.48 秒,实现了 25 倍级 的尾延迟骤降。
除了首字响应的爆发式提速,Claude 构建的这套引擎还在连续批处理与请求调度层做了深度重构,同步拉升了整体吞吐效率与显卡有效产出比,展现出对 CUDA/显存分配与高并发排队模型极强的直觉把控。
| 评测维度 / 核心指标 | 人类参考基线(含 SGLang v0.5.20) | Claude Opus 5.5 + Claude Code | 技术突破与观察结论 |
|---|---|---|---|
| 全栈六题总战绩 (6 大 AI 研发工程层) |
基准参照水平(Singularity-Index = 1.00) | 5 胜 1 平(Index 约 1.25) | 唯一总分超越成熟人类工程参考基线的组合 |
| 测试环境约束 | 4 × NVIDIA GB300 GPU,16 并发编程会话流 | 4 × NVIDIA GB300 GPU,断网隔离构建 | 零外网检索依赖,纯靠代码推理与本地实测迭代 |
| P90 首 token 延迟 (TTFT) | 约 12.0 秒(SGLang v0.5.20) | 0.48 秒(自研推理引擎) | 尾延迟暴降约 25 倍,显著改善高并发交互体验 |
| 综合产出与调度效率 | 通用工业级默认调度策略 | 针对性重构请求调度与显卡产出利用率 | 验证 AI 可针对特定负载压榨出超常规系统红利 |
三、 六题“五胜一平”唯一超越人类基线:智能体软件工程的质变时刻
放眼全套 Singularity-Bench 六项综合考题,Claude Opus 5.5 搭配 Claude Code 最终交出了 五胜一平 的统治级答卷(综合 Singularity-Index 约 1.25),成为所有参评模型与脚手架组合中唯一总分反超人类工程基线的选手。
这意味着前沿大模型加上高自主权终端编码工具(Agent Harness),已经跨越了“写业务增删改查代码”的舒适区,开始在非确定性系统性能调优、异步内存管理、分布式集群协调这些原本高度依赖资深系统工程师“十年经验直觉”的深水区,展现出系统性的结构优势。因为 AI 不受固有框架惯性束缚,它能够以极高的测试频率围绕目标硬件和特定流量模式尝试激进的调度重构。
四、 距离真正的“递归自我改进”还有多远?研究人员划下清醒红线
尽管 0.48 秒的首字延迟与“五胜一平”足以令人振奋,CMU 与研究团队却在报告结尾泼了一盆极具分量的冷水:这还远不是科幻意义上的“技术奇点”或全自动递归自我改进(RSI)。
当前所有考题的架构边界、成功指标、沙箱接口与评估验收脚本,依然完全由人类研究人员预先精密划定;智能体是在一个干净的闭环靶场里做“命题作文”,而尚未展现出自主发现真实生产瓶颈、自行提出新算法范式并安全接管全链路研发演进的能力。不过,作为观察前沿模型“自我建基建”能力的风向标,Singularity-Bench 已经清晰地证明了一件事:未来的 AI 系统基础设施,大概率将越来越多地由 AI 自己写出来。
📝 站长洞察 (Editor’s Insight)
过去我们总以为基础设施工程师是 AI 时代最安全的高壁垒工种,但 Singularity-Bench 这份“4 卡 GB300 断网手搓推理引擎、P90 首字延迟 0.48 秒跑赢 SGLang 12 秒”的实测数据,值得每一位系统研发深思。通用开源推理框架为了兼容千差万别的模型和流量,往往背负着沉重的历史包袱与抽象损耗;而当编码智能体具备了“针对特定硬件与特定流量现场重写专用引擎”的能力时,软件栈的定制边际成本正趋近于零。未来架构师的核心壁垒,将从“手写调优代码”转向“定义评测基准与安全约束边界”。
Singularity-Bench 主要考什么?
它不是刷题式编程测试,而是评估智能体能否完成真实 AI 工程任务,覆盖预训练、中期训练、后训练、推理服务、智能体框架和集群编排六个层面,强调系统级研发能力。
Claude Opus 5.5 为什么能跑赢 SGLang?
文中结果显示,Claude Opus 5.5 搭配 Claude Code 自研了定制推理引擎,在 4 块 NVIDIA GB300、16 路并发条件下,将 P90 首 token 延迟从约 12 秒压到 0.48 秒,核心优势在于针对负载做了调度与批处理重构。
5胜1平是否意味着 AI 已经能自我改进?
还不能。研究团队明确指出,这仍是在人类预先设定的沙箱、指标和接口内完成的闭环任务,属于高水平“命题作文”,距离真正自主发现生产瓶颈并递归自我改进还有明显距离。
P90首字延迟压到0.48秒的关键在哪?
通常不是单点优化,而是把排队、调度、KV缓存、批处理和网络开销一起压缩。先看请求路径是否有串行瓶颈,再做prefill/decode拆分、动态batch和缓存复用,最后用端到端压测验证P90而不是只看平均值。
自研推理引擎适合什么团队落地?
更适合有稳定流量、明确SLA、且能持续投入底层工程的团队。若业务还在快速试错,优先用成熟框架换迭代速度;当吞吐、延迟、成本已成为核心竞争力,再逐步把热点路径自研替换。
