# P90首字延迟从12秒压至0.48秒！Claude Opus 5.5横扫Singularity-Bench：自研推理引擎干翻SGLang与六题五胜一平全拆解

- Link: https://paooo.com/trends/42850/
- Published: 2026-11-20T11:05:54+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * Singularity-Bench 直测 AI 造 AI 能力，覆盖预训练、推理、集群编排等六大工程层。
 * [Claude](https://paooo.com/aigc-news/) Opus 5.5 + Claude Code 以 5 胜 1 平反超
   人类基线，成为唯一总分超越参考框架的组合。
 * 自研推理引擎在同等 4×GB300 环境下，将 P90 首 token 延迟从约 12 秒降至 0.48 秒。

> **💡 站外导读：**AI 智能体能否自己写出超越人类工程师的底层基础设施？CMU 与英伟
> 达等团队在最新基准 Singularity-Bench 中交出震撼实证：面对从零手搓推理服务、集群
> 调度等六道 AI 研发硬核考题，Claude Opus 5.5 搭配 Claude Code 拿下“五胜一平”反超
> 人类基线，其自研推理引擎更在同等硬件下将 P90 首字延迟从 SGLang 约 12 秒压至 0.48
> 秒。

![Singularity-Bench 基准测试揭示 Claude Opus 5.5 自主构建推理引擎首字延迟低至 0.48
秒趋势示意图](https://paooo.com/wp-content/uploads/2026/05/placeholder_brain.avif)

## 一、 告别刷题式评测：Singularity-Bench 如何拷问“AI 造 AI”的极限？

过去两年衡量编程[智能体](https://paooo.com/trends/)的主流基准（如 SWE-bench）大多
停留在“修一个 GitHub Issue”或“补全局部单元测试”的层面，距离真正意义上的**系统级 
AI 研发自主化**相去甚远。为此，卡内基梅隆大学等研究团队正式推出名为 **Singularity-
Bench（《Can Agents Build Agents?》）** 的开放式长程基准，将考场直接搬进了现代[大模型](https://paooo.com/ai-study/)
实验室最核心的基础设施工程现场。

阅读目录

 * [一、 告别刷题式评测：Singularity-Bench 如何拷问“AI 造 AI”的极限？](https://paooo.com/trends/42850/#%e4%b8%80-%e5%91%8a%e5%88%ab%e5%88%b7%e9%a2%98%e5%bc%8f%e8%af%84%e6%b5%8bsingularitybench-%e5%a6%82%e4%bd%95%e6%8b%b7%e9%97%aeai-%e9%80%a0-ai%e7%9a%84%e6%9e%81%e9%99%90)
 * [二、 P90 延迟从 12 秒压至 0.48 秒：自研引擎如何跑赢 SGLang v0.5.20？](https://paooo.com/trends/42850/#%e4%ba%8c-p90-%e5%bb%b6%e8%bf%9f%e4%bb%8e-12-%e7%a7%92%e5%8e%8b%e8%87%b3-048-%e7%a7%92%e8%87%aa%e7%a0%94%e5%bc%95%e6%93%8e%e5%a6%82%e4%bd%95%e8%b7%91%e8%b5%a2-sglang-v0520)
 * [三、 六题“五胜一平”唯一超越人类基线：智能体软件工程的质变时刻](https://paooo.com/trends/42850/#%e4%b8%89-%e5%85%ad%e9%a2%98%e4%ba%94%e8%83%9c%e4%b8%80%e5%b9%b3%e5%94%af%e4%b8%80%e8%b6%85%e8%b6%8a%e4%ba%ba%e7%b1%bb%e5%9f%ba%e7%ba%bf%e6%99%ba%e8%83%bd%e4%bd%93%e8%bd%af%e4%bb%b6%e5%b7%a5%e7%a8%8b)
 * [四、 距离真正的“递归自我改进”还有多远？研究人员划下清醒红线](https://paooo.com/trends/42850/#%e5%9b%9b-%e8%b7%9d%e7%a6%bb%e7%9c%9f%e6%ad%a3%e7%9a%84%e9%80%92%e5%bd%92%e8%87%aa%e6%88%91%e6%94%b9%e8%bf%9b%e8%bf%98%e6%9c%89%e5%a4%9a%e8%bf%9c%e7%a0%94%e7%a9%b6%e4%ba%ba%e5%91%98%e5%88%92%e4%b8%8b)
       * [📝 站长洞察 (Editor’s Insight)](https://paooo.com/trends/42850/#%f0%9f%93%9d-%e7%ab%99%e9%95%bf%e6%b4%9e%e5%af%9f-editor8217s-insight)

整套基准横跨现代 AI 工程栈的**六个关键分层**：预训练（Pre-training）、中期训练（
Mid-training）、后训练（Post-training）、推理服务（Inference）、智能体运行框架（
Agent Harnesses）以及集群编排（Cluster Orchestration）。在每道考题中，智能体都只能
拿到一个极简起始代码库、严格的硬件配额与时间预算，并且在**彻底断网**的隔离环境下
独立攻关，最终作品直接与业界久经考验的人类工程参考框架同台对决。

## 二、 P90 延迟从 12 秒压至 0.48 秒：自研引擎如何跑赢 SGLang v0.5.20？

在六大考题中，最令系统架构师惊呼的莫过于**推理层工程挑战（Inference Engineering 
Task）**。主办方给参赛智能体提供了一套基础的服务端骨架代码以及 **4 块 NVIDIA GB300
GPU**，要求其在断网条件下从头构建一套能扛住高并发真实编程对话流量的高性能推理与模型
服务引擎，负责请求接管、GPU 显存与计算调度及流式响应返回。

作为标尺的人类工程基线，是社区公认高性能的成熟推理引擎 **SGLang（v0.5.20）**。在
16 路真实编程会话并发流量的同等压力测试下，SGLang 基线的 P90 首 token 延迟（TTFT）
约为 **12 秒**；而由 **Claude Opus 5.5 + Claude Code** 自主设计并编码实现的定制推理
引擎，不仅稳定跑通了全链路流式输出，还将 P90 首 token 延迟一举压低至 **0.48 秒**，
实现了 **25 倍级** 的尾延迟骤降。

除了首字响应的爆发式提速，Claude 构建的这套引擎还在连续批处理与请求调度层做了深度
重构，同步拉升了整体吞吐效率与显卡有效产出比，展现出对 CUDA/显存分配与高并发排队
模型极强的直觉把控。

  |  评测维度 / 核心指标 |  人类参考基线（含 SGLang v0.5.20） |  Claude Opus 5.5 + Claude Code |  技术突破与观察结论 |  
   |  **全栈六题总战绩**
（6 大 AI 研发工程层） |  基准参照水平（Singularity-Index = 1.00） |  **5 胜 1 平**（Index 约 **1.25**） |  唯一总分超越成熟人类工程参考基线的组合 |  
 |  **测试环境约束** |  4 × NVIDIA GB300 GPU，16 并发编程会话流 |  **4 × NVIDIA GB300 GPU**，断网隔离构建 |  零外网检索依赖，纯靠代码推理与本地实测迭代 |  
 |  **P90 首 token 延迟 (TTFT)** |  约 **12.0 秒**（SGLang v0.5.20） |  **0.48 秒**（自研推理引擎） |  尾延迟暴降约 **25 倍**，显著改善高并发交互体验 |  
 |  **综合产出与调度效率** |  通用工业级默认调度策略 |  针对性重构请求调度与显卡产出利用率 |  验证 AI 可针对特定负载压榨出超常规系统红利 |

## 三、 六题“五胜一平”唯一超越人类基线：智能体软件工程的质变时刻

放眼全套 Singularity-Bench 六项综合考题，**Claude Opus 5.5 搭配 Claude Code** 最终
交出了 **五胜一平** 的统治级答卷（综合 Singularity-Index 约 1.25），成为所有参评
模型与脚手架组合中**唯一总分反超人类工程基线**的选手。

这意味着前沿大模型加上高自主权终端编码工具（Agent Harness），已经跨越了“写业务增删
改查代码”的舒适区，开始在非确定性系统性能调优、异步内存管理、分布式集群协调这些原本
高度依赖资深系统工程师“十年经验直觉”的深水区，展现出系统性的结构优势。因为 AI 不受
固有框架惯性束缚，它能够以极高的测试频率围绕目标硬件和特定流量模式尝试激进的调度
重构。

## 四、 距离真正的“递归自我改进”还有多远？研究人员划下清醒红线

尽管 0.48 秒的首字延迟与“五胜一平”足以令人振奋，CMU 与研究团队却在报告结尾泼了一
盆极具分量的冷水：**这还远不是科幻意义上的“技术奇点”或全自动递归自我改进（RSI）**。

当前所有考题的架构边界、成功指标、沙箱接口与评估验收脚本，依然完全由人类研究人员
预先精密划定；智能体是在一个干净的闭环靶场里做“命题作文”，而尚未展现出自主发现真实
生产瓶颈、自行提出新算法范式并安全接管全链路研发演进的能力。不过，作为观察前沿模型“
自我建基建”能力的风向标，Singularity-Bench 已经清晰地证明了一件事：未来的 AI 系统
基础设施，大概率将越来越多地由 AI 自己写出来。

#### 📝 站长洞察 (Editor’s Insight)

过去我们总以为基础设施工程师是 AI 时代最安全的高壁垒工种，但 Singularity-Bench 这
份“4 卡 GB300 断网手搓推理引擎、P90 首字延迟 0.48 秒跑赢 SGLang 12 秒”的实测数据，
值得每一位系统研发深思。通用开源推理框架为了兼容千差万别的模型和流量，往往背负着
沉重的历史包袱与抽象损耗；而当编码智能体具备了“针对特定硬件与特定流量现场重写专用
引擎”的能力时，软件栈的定制边际成本正趋近于零。未来架构师的核心壁垒，将从“手写调
优代码”转向“定义评测基准与安全约束边界”。

🧭 文中关联 AI 工具官网与参数卡（语宙 AI 导航）

**Claude ↗**

Anthropic 打造的新一代安全人工智能模型，具备超长上下文理解能力，最强代码伴侣。

**Opus ↗**

Opus助力创意革新，在内容创作与营销推广等方面发挥作用，提供独特创作体验。

**大模型实验室 ↗**

在线大模型训练微调及AI科研学习平台。

❓ 常见问题解答（FAQ）

Singularity-Bench 主要考什么？

它不是刷题式编程测试，而是评估智能体能否完成真实 AI 工程任务，覆盖预训练、中期训练、
后训练、推理服务、智能体框架和集群编排六个层面，强调系统级研发能力。

Claude Opus 5.5 为什么能跑赢 SGLang？

文中结果显示，Claude Opus 5.5 搭配 Claude Code 自研了定制推理引擎，在 4 块 NVIDIA
GB300、16 路并发条件下，将 P90 首 token 延迟从约 12 秒压到 0.48 秒，核心优势在于
针对负载做了调度与批处理重构。

5胜1平是否意味着 AI 已经能自我改进？

还不能。研究团队明确指出，这仍是在人类预先设定的沙箱、指标和接口内完成的闭环任务，
属于高水平“命题作文”，距离真正自主发现生产瓶颈并递归自我改进还有明显距离。

🔬 语宙深潜追问 · 进阶实操拆解

P90首字延迟压到0.48秒的关键在哪？

通常不是单点优化，而是把排队、调度、KV缓存、批处理和网络开销一起压缩。先看请求路径
是否有串行瓶颈，再做prefill/decode拆分、动态batch和缓存复用，最后用端到端压测验证
P90而不是只看平均值。

自研推理引擎适合什么团队落地？

更适合有稳定流量、明确SLA、且能持续投入底层工程的团队。若业务还在快速试错，优先用
成熟框架换迭代速度；当吞吐、延迟、成本已成为核心竞争力，再逐步把热点路径自研替换。

🗳️ 读者观点微投票 · 您的实战立场是？

自研推理引擎真能替代SGLang吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[💻 所属权威专题：Claude & AI 编程 / MCP →](https://paooo.com/topics/claude-mcp-coding/)

 * [GPT-5. 6 智商首破 130 天才线，比99%人类都聪明，实测干活能力同样炸裂](https://paooo.com/aigc-news/30951/)
 * [输出Token狂降22%且法律任务碾压竞品两倍！OpenAI官宣GPT-6.2 Astra与Sol双舰齐发：1318 Elo登顶3D盲测、Pro 200首开Ultrafast与Blocker Deception防护全拆解](https://paooo.com/aigc-news/42666/)
 * [Claude Opus 4.8 核弹级发布：编程能力碾压GPT-5.5，成本直降67%，AI开发者生产力革命来了](https://paooo.com/aigc-news/18209/)
 * [P90研究员日烧2.3万美元Token，推理栈编写却仅25%成功率！OpenAI实测编码智能体加速AI研究的“参差前沿”与递归进化边界](https://paooo.com/trends/42755/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/trends/42850/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
