# SVDQuant – MIT 推出的扩散模型后训练量化技术

- Link: https://paooo.com/aigc-news/24877/
- Published: 2026-07-10T07:48:29+08:00
- Author: Prompt 语宙研究院

## SVDQuant是什么

SVDQuant是MIT研究团队推出的后训练量化技术，针对扩散模型，将模型的权重和激活值量化
至4位，减少内存占用加速推理过程。SVDQuant引入高精度的低秩分支吸收量化过程中的异常
值，在保持图像质量的同时，实现在16GB 4090 GPU上3.5倍的显存优化和8.7倍的延迟减少。
SVDQuant支持DiT架构，兼容UNet架构，能无缝集成现成的低秩适配器（LoRAs），无需重新
量化，为在资源受限的设备上部署大型扩散模型提供有效的解决方案。

阅读目录

 * [SVDQuant是什么](https://paooo.com/aigc-news/24877/#svdquant%e6%98%af%e4%bb%80%e4%b9%88)
 * [SVDQuant的主要功能](https://paooo.com/aigc-news/24877/#svdquant%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [SVDQuant的技术原理](https://paooo.com/aigc-news/24877/#svdquant%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [SVDQuant的项目地址](https://paooo.com/aigc-news/24877/#svdquant%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [SVDQuant的应用场景](https://paooo.com/aigc-news/24877/#svdquant%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![SVDQUANT](https://paooo.com/wp-content/uploads/2026/07/SVDQUANT-website-1.avif)

## SVDQuant的主要功能

 * **量化压缩**：将扩散模型的权重和激活值量化到4位，减少模型大小，降低内存占用。
 * **加速推理**：量化减少计算复杂度，提高模型在GPU上的推理速度。
 * **低秩分支吸收异常值**：引入低秩分支处理量化中的异常值，减少量化误差。
 * **内核融合**：设计推理引擎Nunchaku，基于内核融合减少内存访问，进一步提升推理效率。
 * **支持多种架构**：兼容DiT和UNet架构的扩散模型。
 * **LoRA集成**：无缝集成低秩适配器（LoRAs），无需重新量化。

## SVDQuant的技术原理

 * **量化处理**：对模型的权重和激活值进行4位量化，对保持模型性能构成挑战。
 * **异常值处理**：用平滑技术将激活值中的异常值转移到权重上，基于SVD分解权重，将
   权重分解为低秩分量和残差。
 * **低秩分支**：引入16位精度的低秩分支处理权重中的异常值，将残差量化到4位，降低
   量化难度。
 * **Eckart-Young-Mirsky定理**：移除权重中的主导奇异值，大幅减小权重的幅度和异常
   值。
 * **推理引擎Nunchaku**：设计推理引擎，基于融合低秩分支和低比特分支的内核，减少内存
   访问和内核调用次数，降低延迟。

## SVDQuant的项目地址

 * **项目官网**：[hanlab.mit.edu/projects/svdquant](https://hanlab.mit.edu/projects/svdquant?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/mit-han-lab/nunchaku](https://github.com/mit-han-lab/nunchaku)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2411.05007](https://arxiv.org/pdf/2411.05007)
 * **在线体验Demo**：[https://svdquant.mit.edu/](https://svdquant.mit.edu/)

## SVDQuant的应用场景

 * **移动设备和边缘计算**：在智能手机、平板电脑或其他移动设备上部署扩散模型，减少
   模型大小和提高推理速度，实现更快的图像生成和处理。
 * **个人电脑和工作站**：在个人电脑或工作站上，提高图像和视频生成的效率，适用于内容
   创作者和专业设计师。
 * **云计算平台**：在云服务中部署SVDQuant，为在线用户提供快速的图像生成服务，如虚拟
   试衣、图像编辑和增强等。
 * **交互式应用**：在需要实时反馈的应用中，如游戏、虚拟现实（VR）和增强现实（AR）
   中，减少延迟，提供更流畅的用户体验。
 * **低功耗设备**：在物联网（IoT）设备和其他低功耗设备中，实现能效比更高的模型推理。

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/24877/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)