--- title: "AngelSpec – 腾讯混元团队开源的端到端推测解码训练框架" url: "https://paooo.com/aigc-news/39716/" author: "Prompt 语宙研究院" published_at: "2026-07-30T15:47:43+08:00" updated_at: "2026-07-30T15:47:43+08:00" categories: "AIGC 资讯" source: "Prompt 语宙 (https://paooo.com)" ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)" --- # AngelSpec – 腾讯混元团队开源的端到端推测解码训练框架 > 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/39716/) · 作者：Prompt 语宙研究院 · 发布时间：2026-07-30 ## AngelSpec是什么 AngelSpec 是腾讯混元团队开源的端到端推测解码训练框架，基于 TorchSpec 构建，支持 MTP 自回归与 DFly 块并行共 6 种草稿架构。推理与训练解耦，推理引擎经 Mooncake/RDMA 向训练工作器流式传输隐藏状态。在 Hy3-A21B 上，DFly 实现 1.98–2.40 倍端到端加速，吞吐较 DFlash 提升 10.5–11.8%。 ## AngelSpec的主要功能 - **六种草稿架构统一训练**：DFly、DFlash、DFlare、Eagle3、DSpark、MTP 共享一条训练流水线，切换仅需改配置。 - **MTP 训练与 TTT 展开**：支持多深度自回归展开训练，内存接近单次因果前向，通过 Ulysses 序列并行支持最长 128k 上下文。 - **接受率对齐目标函数**：支持 CE、top-k KL、LK Loss、D-PACE 加权及端到端 TV 损失，可通过配置自由组合。 - **文档感知序列打包**：Megatron 风格固定长度打包，严格跨文档隔离，同时覆盖 DFlash 与 MTP 路径。 - **在线真实评估**：训练期间通过 vLLM 等引擎执行真实推测解码，实时报告平均接受长度与逐位接受率。 - **多推理后端支持**：兼容 vLLM、SGLang、HuggingFace 等主流推理引擎。 ## AngelSpec的技术原理 - **推测解码基础**：AngelSpec 建立在推测解码机制之上：一个轻量草稿模型并行提出多个未来 token，目标大模型通过一次前向传播使用拒绝采样完成批量验证，在不改变目标分布的前提下将单步解码扩展为多步推进。其核心挑战在于草稿接受率与验证开销之间的权衡，而 AngelSpec 从训练、架构与推理三个层面系统性解决这一问题。 - **工作负载异构性建模**：AngelSpec 将真实世界的工作负载异构性作为首要设计考量。在线请求横跨开放式对话、代码生成、数学推理与工具调用，其条件熵与延续结构差异显著：高熵对话场景下接受率随深度快速衰减，适合短序列自回归草稿；代码与数学场景存在长可预测跨度，适合块并行扩散草稿。因此 AngelSpec 训练互补的专用草稿器——MTP 面向对话数据，DFly 面向代码与数学数据——而非追求单一通用模型。 - **共享参数多深度 MTP 训练**：MTP 草稿器采用共享参数的多深度训练方案。所有逻辑预测深度复用同一物理 MTP 模块，在训练时自回归展开：深度 k+1 接收深度 k 的 argmax 预测，同时维护逐层增长的草稿 KV 缓存与对角线注意力掩码。Training-Time Test（TTT）机制使草稿器暴露于推理时遇到的自生成轨迹分布，消除教师强制带来的暴露偏差，显著改善第二、第三草稿位的接受率。 微信关注回复“**开源**”，加入**AI开源项目交流群** ## 如何使用AngelSpec - **环境安装**：执行 `pip install -e ".[vllm]"` 与 `pip install mooncake-transfer-engine` 安装框架及 vLLM 后端。 - **单节点快速启动**：8 张 GPU 划分 4 张推理 + 4 张训练，运行 `./examples/qwen3-8b-dfly/run.sh` 即可启动完整流水线。 - **配置覆盖**：通过 CLI 直接覆盖 YAML 配置项，如 `training.learning_rate=5e-5 training.num_train_steps=500`。 - **Conda 环境搭建**：运行 `./tools/build_conda.sh 1 vllm` 一键构建含 mooncake 的隔离环境，激活后即可使用。 - **多节点部署**：通过 Inference Controller 与 Training Controller 经 Ray 调度，结合 Mooncake 隐藏状态存储实现跨节点解耦训练。 ## AngelSpec的核心优势 - **工作负载专业化**：MTP 针对高熵对话场景优化，DFly 针对代码与数学等长可预测跨度场景强化，避免单一草稿模型在所有领域表现平庸。 - **DFly 架构创新**：混合目标条件主干结合逐层目标视图，配合前驱条件自回归头，在保留并行生成能力的同时提升块内依赖建模。 - **D-Cut 动态验证**：将目标验证视为共享批次级资源，根据前缀置信度与运行时成本模型自适应调整验证深度，在高并发下持续转化额外负载为吞吐。 - **分离式独立扩展**：推理与训练 GPU 池通过 Mooncake 存储解耦，双方可按各自负载独立扩缩容，避免统一并行策略的次优问题。 - **开源完整套件**：同步释放框架代码、Hy3-A21B/Qwen3-8B 的 MTP 与 DFly 草稿权重、训练配置及技术报告，实现开箱即用。 ## AngelSpec的项目地址 - **项目官网**：https://angelspec.readthedocs.io/ - **GitHub仓库**：https://github.com/Tencent/AngelSpec - **HuggingFace模型库**：https://huggingface.co/collections/AngelSlim/angelspec - **arXiv技术论文**：https://arxiv.org/pdf/2607.25852 ## AngelSpec的同类竞品对比 对比维度 AngelSpec SpecForge **出品方** 腾讯混元团队 SGLang / 美团等社区团队 **核心定位** 统一 MTP + 块并行推测解码训练框架 面向 EAGLE-3 的生产级训练框架 **草稿架构** 6 种（DFly、DFlash、DFlare、Eagle3、DSpark、MTP） 以 EAGLE-3 为主，支持主流开源模型 **架构特色** DFly 混合目标条件 + 前驱自回归头 + D-Cut 动态验证 目标-草稿解耦混合并行 + TTT 稀疏树注意力优化 **分离设计** 推理/训练完全解耦，经 Mooncake/RDMA 流传输隐藏状态 支持同机共存与跨节点分离，通过 SGLang 后端集成 **训练优化** 接受率对齐目标（TV/LK/D-PACE）+ 文档感知打包 FlexAttention 稀疏掩码 + 原地梯度内核，内存降 93.5% **开源模型** Hy3-A21B、Qwen3-8B 的 MTP/DFly 权重 SpecBundle（Llama、Qwen、Kimi、DeepSeek 等 EAGLE-3 草稿） **性能数据** Hy3-A21B 上 1.98–2.40× 加速，较 DFlash 高 10.5–11.8% Qwen3-235B 训练加速 9.99×，推理最高 4.48× 加速 **推理后端** vLLM、SGLang、HuggingFace SGLang、HuggingFace、自定义后端 ## AngelSpec的应用场景 - **大模型在线推理加速**：为混元 Hy3、Qwen3 等 MoE/稠密模型部署推测解码草稿，降低自回归解码延迟。 - **高并发对话服务**：利用 D-Cut 动态资源分配，在并发 4–64 范围内维持最高平均吞吐，适配客服与助手场景。 - **代码生成与数学推理**：通过 DFly 块并行草稿捕获长可预测跨度，加速 IDE 补全、解题引擎等结构化输出任务。 - **长上下文训练与推理**：借助 Ulysses 序列并行支持 128k 上下文，适配文档分析、代码库检索等长序列场景。 --- 探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)