# 腾讯开源 AngelSpec 框架：破解大模型真实推理效率难题

- Link: https://paooo.com/aigc-news/39657/
- Published: 2026-07-30T10:58:02+08:00
- Author: Prompt 语宙研究院

在当前[大模型](https://paooo.com/ai-study/)规模与服务需求持续增长的背景下，如何降低
自回归解码的高昂成本成为了行业的一大痛点。为此，腾讯技术团队正式开源了统训框架AngelSpec，
旨在通过多方案协同与工作负载异构适配，全面提升大模型在真实场景中的推理吞吐量。

针对不同应用场景下文本特征的差异，AngelSpec采取了差异化的训练策略。对于高熵、开放
式的多轮对话任务，系统采用轻量且稳定的多token预测机制（MTP），并结合训练时测试(TTT)
和端到端总变差损失，使其能够有效适应自回归展开中的状态分布;而面对结构约束更强的代码
生成与数学推理任务，则通过专有的块扩散模型进行强化，充分挖掘长跨度可预测序列的潜力。

![image.png](https://paooo.com/wp-content/uploads/2026/07/6392100469217467339378630-
1.avif "image.png")

在架构设计上，该框架提出了名为 DFly 的创新块扩散框架。它通过混合目标条件编码骨干
与前序条件自回归头，在保持高吞吐量并行生成的同时，大幅优化了目标特征利用率与块内
依赖建模。此外，系统引入了动态验证机制，可结合当前在线负载、硬件条件及前缀置信度，
在运行时自适应调整验证深度，从而在计算资源与吞吐效率之间实现平衡。

![image.png](https://paooo.com/wp-content/uploads/2026/07/6392100471499868191099813.
avif "image.png")

在 Hy3模型系列的系统测试中，搭载 DFly 的方案展现出显著的性能优势。在并发数从4到64
的各项测试中，该方案均实现了最高的平均吞吐量，相比传统的自回归解码提升显著，为大
模型的工程化落地与高效推理提供了坚实的开源工具支持。

项目地址:https://github.com/Tencent/AngelSpec

论文:https://arxiv.org/pdf/2607.25852

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/39657/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)