# AngelSpec – 腾讯混元团队开源的端到端推测解码训练框架

- Link: https://paooo.com/aigc-news/39716/
- Published: 2026-07-30T15:47:43+08:00
- Author: Prompt 语宙研究院

## AngelSpec是什么

AngelSpec 是腾讯混元团队开源的端到端推测解码训练框架，基于 TorchSpec 构建，支持 
MTP 自回归与 DFly 块并行共 6 种草稿架构。推理与训练解耦，推理引擎经 Mooncake/RDMA
向训练工作器流式传输隐藏状态。在 Hy3-A21B 上，DFly 实现 1.98–2.40 倍端到端加速，
吞吐较 DFlash 提升 10.5–11.8%。

阅读目录

 * [AngelSpec是什么](https://paooo.com/aigc-news/39716/#angelspec%e6%98%af%e4%bb%80%e4%b9%88)
 * [AngelSpec的主要功能](https://paooo.com/aigc-news/39716/#angelspec%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [AngelSpec的技术原理](https://paooo.com/aigc-news/39716/#angelspec%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [如何使用AngelSpec](https://paooo.com/aigc-news/39716/#%e5%a6%82%e4%bd%95%e4%bd%bf%e7%94%a8angelspec)
 * [AngelSpec的核心优势](https://paooo.com/aigc-news/39716/#angelspec%e7%9a%84%e6%a0%b8%e5%bf%83%e4%bc%98%e5%8a%bf)
 * [AngelSpec的项目地址](https://paooo.com/aigc-news/39716/#angelspec%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [AngelSpec的同类竞品对比](https://paooo.com/aigc-news/39716/#angelspec%e7%9a%84%e5%90%8c%e7%b1%bb%e7%ab%9e%e5%93%81%e5%af%b9%e6%af%94)
 * [AngelSpec的应用场景](https://paooo.com/aigc-news/39716/#angelspec%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![AngelSpec](https://paooo.com/wp-content/uploads/2026/07/AngelSpec-website-1.avif)

## AngelSpec的主要功能

 * **六种草稿架构统一训练**：DFly、DFlash、DFlare、Eagle3、DSpark、MTP 共享一条训练
   流水线，切换仅需改配置。
 * **MTP 训练与 TTT 展开**：支持多深度自回归展开训练，内存接近单次因果前向，通过
   Ulysses 序列并行支持最长 128k 上下文。
 * **接受率对齐目标函数**：支持 CE、top-k KL、LK Loss、D-PACE 加权及端到端 TV 损失，
   可通过配置自由组合。
 * **文档感知序列打包**：Megatron 风格固定长度打包，严格跨文档隔离，同时覆盖 DFlash
   与 MTP 路径。
 * **在线真实评估**：训练期间通过 vLLM 等引擎执行真实推测解码，实时报告平均接受长度
   与逐位接受率。
 * **多推理后端支持**：兼容 vLLM、SGLang、HuggingFace 等主流推理引擎。

## AngelSpec的技术原理

 * **推测解码基础**：AngelSpec 建立在推测解码机制之上：一个轻量草稿模型并行提出多个
   未来 token，目标[大模型](https://paooo.com/ai-study/)通过一次前向传播使用拒绝
   采样完成批量验证，在不改变目标分布的前提下将单步解码扩展为多步推进。其核心挑战
   在于草稿接受率与验证开销之间的权衡，而 AngelSpec 从训练、架构与推理三个层面系统
   性解决这一问题。
 * **工作负载异构性建模**：AngelSpec 将真实世界的工作负载异构性作为首要设计考量。
   在线请求横跨开放式对话、代码生成、数学推理与工具调用，其条件熵与延续结构差异显著：
   高熵对话场景下接受率随深度快速衰减，适合短序列自回归草稿；代码与数学场景存在长
   可预测跨度，适合块并行扩散草稿。因此 AngelSpec 训练互补的专用草稿器——MTP 面向
   对话数据，DFly 面向代码与数学数据——而非追求单一通用模型。
 * **共享参数多深度 MTP 训练**：MTP 草稿器采用共享参数的多深度训练方案。所有逻辑
   预测深度复用同一物理 MTP 模块，在训练时自回归展开：深度 k+1 接收深度 k 的 argmax
   预测，同时维护逐层增长的草稿 KV 缓存与对角线注意力掩码。Training-Time Test（TTT）
   机制使草稿器暴露于推理时遇到的自生成轨迹分布，消除教师强制带来的暴露偏差，显著
   改善第二、第三草稿位的接受率。

![挖挖GitHub](https://paooo.com/wp-content/uploads/2026/07/wawagithub-112.avif)

微信关注回复“**开源**”，加入**AI开源项目交流群**

## 如何使用AngelSpec

 * **环境安装**：执行 `pip install -e ".[vllm]"` 与 `pip install mooncake-transfer-
   engine` 安装框架及 vLLM 后端。
 * **单节点快速启动**：8 张 GPU 划分 4 张推理 + 4 张训练，运行 `./examples/qwen3-
   8b-dfly/run.sh` 即可启动完整流水线。
 * **配置覆盖**：通过 CLI 直接覆盖 YAML 配置项，如 `training.learning_rate=5e-5 
   training.num_train_steps=500`。
 * **Conda 环境搭建**：运行 `./tools/build_conda.sh 1 vllm` 一键构建含 mooncake 
   的隔离环境，激活后即可使用。
 * **多节点部署**：通过 Inference Controller 与 Training Controller 经 Ray 调度，
   结合 Mooncake 隐藏状态存储实现跨节点解耦训练。

## AngelSpec的核心优势

 * **工作负载专业化**：MTP 针对高熵对话场景优化，DFly 针对代码与数学等长可预测跨度
   场景强化，避免单一草稿模型在所有领域表现平庸。
 * **DFly 架构创新**：混合目标条件主干结合逐层目标视图，配合前驱条件自回归头，在
   保留并行生成能力的同时提升块内依赖建模。
 * **D-Cut 动态验证**：将目标验证视为共享批次级资源，根据前缀置信度与运行时成本模型
   自适应调整验证深度，在高并发下持续转化额外负载为吞吐。
 * **分离式独立扩展**：推理与训练 GPU 池通过 Mooncake 存储解耦，双方可按各自负载
   独立扩缩容，避免统一并行策略的次优问题。
 * **开源完整套件**：同步释放框架代码、Hy3-A21B/Qwen3-8B 的 MTP 与 DFly 草稿权重、
   训练配置及技术报告，实现开箱即用。

## AngelSpec的项目地址

 * **项目官网**：https://angelspec.readthedocs.io/
 * **GitHub仓库**：https://github.com/Tencent/AngelSpec
 * **HuggingFace模型库**：https://huggingface.co/collections/AngelSlim/angelspec
 * **arXiv技术论文**：https://arxiv.org/pdf/2607.25852

## AngelSpec的同类竞品对比

  |  对比维度 |  AngelSpec |  SpecForge |  
   |  **出品方** |  腾讯混元团队 |  SGLang / 美团等社区团队 |  
 |  **核心定位** |  统一 MTP + 块并行推测解码训练框架 |  面向 EAGLE-3 的生产级训练框架 |  
 |  **草稿架构** |  6 种（DFly、DFlash、DFlare、Eagle3、DSpark、MTP） |  以 EAGLE-3 为主，支持主流开源模型 |  
 |  **架构特色** |  DFly 混合目标条件 + 前驱自回归头 + D-Cut 动态验证 |  目标-草稿解耦混合并行 + TTT 稀疏树注意力优化 |  
 |  **分离设计** |  推理/训练完全解耦，经 Mooncake/RDMA 流传输隐藏状态 |  支持同机共存与跨节点分离，通过 SGLang 后端集成 |  
 |  **训练优化** |  接受率对齐目标（TV/LK/D-PACE）+ 文档感知打包 |  FlexAttention 稀疏掩码 + 原地梯度内核，内存降 93.5% |  
 |  **开源模型** |  Hy3-A21B、Qwen3-8B 的 MTP/DFly 权重 |  SpecBundle（Llama、Qwen、Kimi、[DeepSeek](https://paooo.com/?s=DeepSeek) 等 EAGLE-3 草稿） |  
 |  **性能数据** |  Hy3-A21B 上 1.98–2.40× 加速，较 DFlash 高 10.5–11.8% |  Qwen3-235B 训练加速 9.99×，推理最高 4.48× 加速 |  
 |  **推理后端** |  vLLM、SGLang、HuggingFace |  SGLang、HuggingFace、自定义后端 |

## AngelSpec的应用场景

 * **大模型在线推理加速**：为混元 Hy3、Qwen3 等 MoE/稠密模型部署推测解码草稿，降低
   自回归解码延迟。
 * **高并发对话服务**：利用 D-Cut 动态资源分配，在并发 4–64 范围内维持最高平均吞吐，
   适配客服与助手场景。
 * **代码生成与数学推理**：通过 DFly 块并行草稿捕获长可预测跨度，加速 IDE 补全、
   解题引擎等结构化输出任务。
 * **长上下文训练与推理**：借助 Ulysses 序列并行支持 128k 上下文，适配文档分析、
   代码库检索等长序列场景。

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/39716/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)