# Delta-CoMe – 清华联合 OpenBMB 等高校开源的新型增量压缩算法

- Link: https://paooo.com/aigc-news/25167/
- Published: 2026-07-12T06:18:29+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 清华联合OpenBMB等提出Delta-CoMe，用增量参数的低秩特性实现混合精度压缩。
 * 80G A100可轻松加载多达50个7B模型，显存约省8倍，性能接近压缩前微调模型。
 * Triton kernel进一步将推理速度提升近3倍，适合多租户、多任务和端侧部署。

## Delta-CoMe是什么

Delta-CoMe是清华大学NLP实验室联合OpenBMB开源社区、北京大学和上海财经大学提出的新型
增量压缩算法，一个80G的A100 GPU能轻松加载多达50个7B模型，节省显存约8倍，同时模型
性能几乎与压缩前的微调模型相当。Delta-CoMe基于结合低秩分解和低比特量化技术，用模型
参数增量（Delta）的低秩特性，实现混合精度压缩。这种方法能在大幅降低存储和推理成本
的同时，保持模型性能几乎无损，尤其在处理数学、代码和多模态等复杂任务时表现出色。

阅读目录

 * [Delta-CoMe是什么](https://paooo.com/aigc-news/25167/#deltacome%e6%98%af%e4%bb%80%e4%b9%88)
 * [Delta-CoMe的主要功能](https://paooo.com/aigc-news/25167/#deltacome%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [Delta-CoMe的技术原理](https://paooo.com/aigc-news/25167/#deltacome%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [Delta-CoMe的项目地址](https://paooo.com/aigc-news/25167/#deltacome%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [Delta-CoMe的应用场景](https://paooo.com/aigc-news/25167/#deltacome%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![Delta-CoMe](https://paooo.com/wp-content/uploads/2026/07/Delta-CoMe-website-1.
avif)

## Delta-CoMe的主要功能

 * **模型压缩**：基于混合精度压缩技术，显著减少大型语言模型（LLMs）的存储和内存需求，
   让在有限的硬件资源上部署更多的模型成为可能。
 * **性能保持**：在压缩的同时，保持模型的性能，尤其是在复杂的任务如数学问题解决、
   代码生成和多模态任务中，确保压缩后的模型性能接近未压缩的微调模型。
 * **多任务处理**：支持同时部署多个具有不同能力的模型，适用于多租户和多任务处理场景，
   提高模型部署的灵活性和效率。
 * **推理速度提升**：基于实现Triton kernel算子，在推理速度上相比PyTorch实现方式提升
   近3倍，进一步优化模型的运行效率。

## Delta-CoMe的技术原理

 * **低秩分解**：用奇异值分解（SVD）对模型参数增量（Delta）进行低秩分解，发现Delta
   参数具有低秩特性，即大部分变化集中在少数几个主成分上。
 * **混合精度量化**：基于低秩分解的结果，采用混合精度量化方法，对不同的奇异向量分配
   不同的位宽。较大奇异值对应的奇异向量用较高精度表示，而较小奇异值对应的奇异向量
   用较低精度表示，减少存储需求。
 * **长尾分布利用**：Delta-CoMe观察到Delta参数的奇异值呈现长尾分布，即大部分奇异
   值较小，只有少数奇异值较大。因此，对于小奇异值对应的奇异向量进行更激进的压缩，
   对于大奇异值对应的奇异向量保留更高的精度。
 * **兼容性和泛化性**：Delta-CoMe方法适用于特定的模型或任务，而且具有很好的泛化性，
   能与不同的主干模型（如Llama-2、Llama-3和Mistral）兼容，并在多种任务上保持良好
   性能。
 * **硬件优化**：为进一步提升推理速度，Delta-CoMe实现针对混合精度量化的Triton kernel
   算子，让在硬件上的部署更加高效。

## Delta-CoMe的项目地址

 * **GitHub仓库**：[https://github.com/thunlp/Delta-CoMe](https://github.com/thunlp/Delta-CoMe)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2406.08903](https://arxiv.org/pdf/2406.08903)

## Delta-CoMe的应用场景

 * **多租户服务**：在云计算环境中，支持在有限的硬件资源上为每个客户提供专用模型，
   节省显存和计算资源。
 * **多任务处理**：在需要同时处理多种不同任务的场景中，有效地压缩和部署不同任务的
   模型。
 * **端侧部署**：在资源受限的边缘计算设备上，减少模型的存储和内存占用。
 * **模型微调服务**：对于需要频繁微调以适应新数据或新任务的模型，用压缩微调后的模型
   增量，减少存储和推理成本。
 * **学术研究和开发**：研究人员和开发者压缩和部署大型语言模型，进行实验和开发，不受
   硬件资源的限制。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**PyTorch ↗**

PyTorch：开源的机器学习库，面向AI 开发平台场景提供便捷实用的在线功能支持，涵盖智能
工具等实用方向。

❓ 常见问题解答（FAQ）

Delta-CoMe是什么压缩算法？

Delta-CoMe是清华大学NLP实验室联合OpenBMB、北京大学和上海财经大学提出的增量压缩算法。
它利用模型参数增量的低秩特性，结合低比特量化，实现混合精度压缩，在大幅节省显存和
存储的同时尽量保持模型性能。

Delta-CoMe能节省多少显存？

文章给出的实测结论是：在80G A100 GPU上，Delta-CoMe可轻松加载多达50个7B模型，显存
节省约8倍。它适合需要同时部署多个模型的多租户、多任务场景。

Delta-CoMe适合哪些模型和场景？

Delta-CoMe兼容Llama-2、Llama-3和Mistral等主干模型，适用于数学、代码、多模态等任务，
也适合云端多租户服务、端侧部署和模型微调后的增量压缩。

🔬 语宙深潜追问 · 进阶实操拆解

低秩分解和低比特量化怎么配合？

通常先做结构分解压掉冗余，再对剩余权重做低比特量化，能兼顾压缩率和可恢复性。关键
是分层设置不同压缩强度，避免把敏感层压得过狠导致精度塌陷。

多模型同机部署最该关注什么？

除了显存占用，还要看切换开销、并发吞吐和冷启动时间。建议把常用模型常驻、长尾模型
按需加载，并配合批处理和缓存策略，才能真正把压缩收益转成业务收益。

🗳️ 读者观点微投票 · 您的实战立场是？

Delta-CoMe 这种压缩法能改写部署成本吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [腾讯混元开源AngelSlim：全模态大模型压缩工具包，推理加速最高1.9倍](https://paooo.com/aigc-news/11374/)
 * [KTransformers – 清华开源的大语言模型推理优化框架](https://paooo.com/aigc-news/21957/)
 * [DeepSpeed-MII深度解析：微软开源高性能大模型推理库，3.7万模型一键部署](https://paooo.com/aigc-news/11794/)
 * [LMDeploy：上海AI实验室开源神器，大模型推理速度飙升10倍！全面支持FP8量化与分布式部署](https://paooo.com/ai-tool/13950/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/25167/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)