# 腾讯混元开源AngelSlim：全模态大模型压缩工具包，推理加速最高1.9倍

- Link: https://paooo.com/aigc-news/11374/
- Published: 2026-06-10T17:42:22+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * AngelSlim 将量化、投机采样、稀疏化和蒸馏整合为一站式全模态压缩方案。
 * 首创 Eagle3 架构，把投机采样扩展到文本、图像与语音场景，最高提速 1.4-1.9 倍。
 * 已兼容混元、[DeepSeek](https://paooo.com/?s=DeepSeek)、Qwen 等模型，并可对接 
   vLLM、Sglang 直接部署。

> **💡 站外导读：**随着AI大模型向多模态、高参数规模演进，推理成本与延迟成为产业落地
> 的核心瓶颈。腾讯混元团队正式开源全模态大模型压缩工具包AngelSlim，旨在通过量化、
> 投机采样等前沿技术，为开发者提供从压缩到部署的一站式解决方案，破解大模型“用不起、
> 跑不快”的行业痛点。

## AngelSlim是什么

AngelSlim 是腾讯混元团队自研并开源的全模态[大模型](https://paooo.com/ai-study/)压缩
工具包，通过量化、投机采样、稀疏化和蒸馏等技术，为大语言模型（LLM）、视觉语言模型（
VLM）及语音模型提供高效、易用的压缩与加速解决方案。工具集成了 FP8/INT8/INT4 量化、
GPTQ、AWQ 等主流压缩策略，支持一键式调用和端到端部署，训练产出模型可无缝衔接 vLLM、
Sglang 等推理框架。AngelSlim 重磅升级投机采样训练框架，首创 Eagle3 架构，首次将投机
采样技术拓展至全模态场景，让小模型学会为大模型起草多步候选 token 并由大模型并行验证，
实测推理速度最高可提升 1.4-1.9 倍。目前已支持混元、DeepSeek、Qwen 系列等主流模型
的压缩优化，开发者可通过 `pip install angelslim` 快速安装使用。

阅读目录

 * [AngelSlim是什么](https://paooo.com/aigc-news/11374/#angelslim%e6%98%af%e4%bb%80%e4%b9%88)
 * [AngelSlim的主要功能](https://paooo.com/aigc-news/11374/#angelslim%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [AngelSlim的技术原理](https://paooo.com/aigc-news/11374/#angelslim%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [AngelSlim的项目地址](https://paooo.com/aigc-news/11374/#angelslim%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [AngelSlim的应用场景](https://paooo.com/aigc-news/11374/#angelslim%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)
       * [📝 站长洞察 (Editor’s Insight)](https://paooo.com/aigc-news/11374/#%f0%9f%93%9d-%e7%ab%99%e9%95%bf%e6%b4%9e%e5%af%9f-editor8217s-insight)

![AngelSlim](https://paooo.com/wp-content/uploads/2026/05/AngelSlim-website-1.avif)

## AngelSlim的主要功能

 * **多精度量化压缩**：支持 FP8、INT8、INT4 等多种精度量化，集成 GPTQ、AWQ 等主流
   量化算法，大幅降低模型存储与计算开销。
 * **投机采样加速**：首创 Eagle3 训练架构，让小模型为大模型起草多步候选 token，大
   模型并行验证，推理速度最高提升 1.4-1.9 倍。
 * **全模态覆盖支持**：支持大语言模型（LLM）、视觉语言模型（VLM）、语音模型（ASR/
   TTS）的压缩与加速，首次实现投机采样在全模态场景的应用。
 * **稀疏化与蒸馏**：集成结构化/非结构化稀疏、知识蒸馏等技术，进一步压缩模型体积
   并保留性能。
 * **一键式压缩调用**：提供高度集成的 API 接口，简化主流压缩算法的调用流程，降低
   开发者使用门槛。
 * **端到端部署对接**：训练产出模型可直接用于 vLLM、Sglang 等主流推理框架，实现压缩
   到部署的无缝衔接。
 * **多模型生态兼容**：已支持混元（Hunyuan）、DeepSeek、Qwen、Qwen2.5VL、Qwen3-Omni
   等主流开源模型的压缩优化。

## AngelSlim的技术原理

 * **量化压缩原理**：通过将模型权重从高精度浮点数（FP16/FP32）映射到低精度整数（
   INT8/INT4）或 FP8 格式，减少存储占用和计算量，同时采用 GPTQ（逐层量化优化）和
   AWQ（激活感知权重量化）等算法最小化精度损失。
 * **投机采样（Speculative Decoding）原理**：训练一个小型草稿模型（Draft Model）
   提前生成多个候选 token，再由大型目标模型（Target Model）一次性并行验证，接受合法
   token、拒绝错误 token 并回滚修正，通过”小模型起草+大模型把关”的协作机制突破串
   行解码瓶颈。
 * **Eagle3 架构原理**：在标准投机采样基础上引入”前瞻性”训练策略，让草稿模型学习
   预测未来多步 token 的分布特征，提升候选序列质量，从而增加大模型的接受长度（可达
   1.8-3.5 倍），实现更高加速比。
 * **知识蒸馏原理**：将大模型（教师模型）的输出分布和中间层特征迁移到小模型（学生
   模型），通过软标签监督和特征对齐，让小模型在压缩体积的同时继承大模型的能力。
 * **稀疏化原理**：通过剪枝去除冗余权重连接（非结构化稀疏）或整个神经元/注意力头（
   结构化稀疏），降低模型计算密度，配合硬件加速实现推理提速。
 * **全模态统一框架原理**：针对不同模态（文本、图像、语音）的模型架构差异，设计统一
   的压缩接口和模态适配层，使量化、投机采样等技术可跨模态复用。

## AngelSlim的项目地址

 * **GitHub仓库**：https://github.com/Tencent/AngelSlim
 * **Hugging Face 模型库**：https://huggingface.co/collections/AngelSlim

## AngelSlim的应用场景

 * **云端大模型推理加速**：为混元、DeepSeek、Qwen 等千亿级大模型提供量化压缩与投机
   采样加速，降低 GPU 显存占用和计算延迟，提升高并发场景下的服务吞吐量。
 * **端侧模型部署优化**：通过 INT4/INT8 量化将大模型压缩至适合手机、平板、IoT 设备
   运行的体积，支持离线推理和隐私保护场景。
 * **多模态 AI 应用加速**：为视觉语言模型（VLM）的图文理解、语音模型（ASR/TTS）的
   实时转录与合成提供全模态压缩方案，加速智能客服、内容审核、实时翻译等应用。
 * **[AIGC](https://paooo.com/aigc-news/) 内容生成提效**：在 AI 写作、代码生成、
   图像描述等生成式场景中，通过投机采样技术显著降低首 token 延迟和整体生成时间，
   提升用户体验。
 * **企业私有化部署降本**：帮助企业将开源大模型压缩后部署至私有云或本地服务器，减少
   算力采购成本，实现高性价比的 AI 中台建设。

#### 📝 站长洞察 (Editor’s Insight)

AngelSlim的发布标志着大模型压缩技术从“单模态工具”迈向“全模态平台”的关键转折。其首创
的Eagle3架构将投机采样拓展至视觉与语音领域，不仅大幅降低推理成本，更预示着未来端
侧多模态AI将成为标配。在行业追求普惠AI的背景下，腾讯通过开源生态布局，正加速推动
千亿参数模型从实验室走向规模化应用。这不仅是技术突破，更是算力民主化的重要一步——
当压缩与加速成为标准配置，AI创新将不再受制于昂贵的硬件门槛。

🧭 文中关联 AI 工具官网与参数卡（语宙 AI 导航）

**腾讯混元 ↗**

腾讯混元大模型是腾讯研发的具备跨领域知识和自然语言理解能力的大语言模型。

**DeepSeek ↗**

DeepSeek 是由幻方量化公司推出的 AI 智能助手和开源大模型平台。其核心功能包括提供世界
级推理能力的 A

**Target ↗**

Target是美国第二大零售商，其核心功能在于构建一个综合性的线上线下融合零售平台。网站
提供极其丰富的商品品类，

❓ 常见问题解答（FAQ）

AngelSlim是什么工具？

AngelSlim 是腾讯混元团队开源的全模态大模型压缩工具包，面向 LLM、VLM 和语音模型，
提供量化、投机采样、稀疏化、蒸馏等能力，帮助开发者降低推理成本并加速部署。

AngelSlim支持哪些模型和框架？

文中提到它已支持混元、DeepSeek、Qwen、Qwen2.5VL、Qwen3-Omni 等主流模型的压缩优化，
训练产出模型可无缝衔接 vLLM、Sglang 等推理框架。

AngelSlim的加速效果有多大？

其升级后的投机采样训练框架采用 Eagle3 架构，实测推理速度最高可提升 1.4-1.9 倍；同时
通过量化与稀疏化进一步降低显存占用和计算开销。

🔬 语宙深潜追问 · 进阶实操拆解

全模态压缩最容易踩哪些坑？

最常见的是只压文本不顾视觉和音频，导致多模态对齐失真；其次是量化后速度上去了，但
长上下文和复杂推理掉点明显。要先做分任务评测，再决定压缩策略。

Eagle3 投机采样适合什么场景？

适合对延迟敏感、输出较长且可接受少量回退的生成任务，比如多模态问答、摘要和交互式
助手。它的核心是用更快的草稿预测减少主模型计算，但需要稳定的验证机制。

🗳️ 读者观点微投票 · 您的实战立场是？

全模态大模型压缩，先量化还是先蒸馏？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

 * [LMDeploy：上海AI实验室开源神器，大模型推理速度飙升10倍！全面支持FP8量化与分布式部署](https://paooo.com/ai-tool/13950/)
 * [Delta-CoMe – 清华联合 OpenBMB 等高校开源的新型增量压缩算法](https://paooo.com/aigc-news/25167/)
 * [DeepSpeed-MII深度解析：微软开源高性能大模型推理库，3.7万模型一键部署](https://paooo.com/aigc-news/11794/)
 * [KTransformers – 清华开源的大语言模型推理优化框架](https://paooo.com/aigc-news/21957/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/11374/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
