# MHA2MLA – 复旦、上海AI Lab等推出优化LLM推理效率的方法

- Link: https://paooo.com/aigc-news/21081/
- Published: 2026-06-08T17:18:06+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 用partial-RoPE删减低贡献位置编码维度，再以联合SVD压缩KV缓存，直击推理内存瓶颈。
 * 仅需原始数据0.3%到0.6%微调，就能把MHA迁移到MLA式高效推理，数据成本极低。
 * 实测可大幅减少KV缓存，最高降96.87%，并将LongBench性能损失控制在0.5%左右。

## MHA2MLA是什么

MHA2MLA是复旦大学、华东师范大学、上海AI Lab等机构联合推出的数据高效的微调方法，基于
引入[DeepSeek](https://ai-bot.cn/sites/6130.html)的多头潜在注意力机制（MLA），优
化任何基于Transformer的LLM的推理效率，降低推理成本。MHA2MLA基于两个关键策略实现：
一是partial-RoPE，移除对注意力分数贡献较小的查询和键的旋转位置编码（RoPE）维度；
二是低秩近似，基于联合奇异值分解（SVD）对键和值进行压缩，减少KV缓存的内存占用。MHA2MLA
仅需使用原始数据的0.3%到0.6%进行微调，能在大幅减少KV缓存（如92.19%）的同时，将性能
损失控制在极小范围内（如LongBench性能仅下降0.5%）。

阅读目录

 * [MHA2MLA是什么](https://paooo.com/aigc-news/21081/#mha2mla%e6%98%af%e4%bb%80%e4%b9%88)
 * [MHA2MLA的主要功能](https://paooo.com/aigc-news/21081/#mha2mla%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [MHA2MLA的技术原理](https://paooo.com/aigc-news/21081/#mha2mla%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [MHA2MLA的项目地址](https://paooo.com/aigc-news/21081/#mha2mla%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [MHA2MLA的应用场景](https://paooo.com/aigc-news/21081/#mha2mla%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![MHA2MLA](https://paooo.com/wp-content/uploads/2026/06/MHA2MLA-website-1.avif)

## MHA2MLA的主要功能

 * **显著减少KV缓存**：基于低秩压缩技术，将KV缓存的大小大幅减少（最高可达96.87%），
   降低推理时的内存占用。
 * **保持模型性能**：在极低的数据量（0.3%到0.6%的原始训练数据）下进行微调，将性能
   损失控制在极小范围内（如LongBench性能仅下降0.5%）。
 * **与现有技术兼容**：与量化技术（如4-bit量化）结合使用，进一步提升推理效率。
 * **数据高效性**：仅需少量数据即可完成从MHA到MLA的架构转换，适合在资源受限的环境
   中快速部署。

## MHA2MLA的技术原理

 * **Partial-RoPE（部分旋转位置编码）**：在MHA中，旋转位置编码（RoPE）基于旋转操作
   将位置信息融入查询向量（Q）和键向量（K），帮助模型捕捉序列中的位置关系。基于计算
   每个维度对注意力分数的贡献，移除贡献较小的RoPE维度（即“不重要的”维度），减少计算
   量和内存占用。这一过程称为“部分RoPE”，在保留关键位置信息的同时，为低秩压缩腾出
   空间。
 * **低秩近似（Low-Rank Approximation）**：MLA基于低秩联合压缩键值（KV）减少内存
   占用。MHA2MLA借鉴这一思想，对MHA中的键和值参数矩阵进行奇异值分解（SVD）。将键
   和值矩阵分解为低秩矩阵的乘积，用更少的参数近似原始矩阵。为更好地保留键和值之间
   的交互信息，MHA2MLA联合SVD（SVDjoint）策略，对键和值矩阵进行联合分解，而不是分别
   处理。

## MHA2MLA的项目地址

 * **GitHub仓库**：[https://github.com/JT-Ushio/MHA2MLA](https://github.com/JT-Ushio/MHA2MLA)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2502.14837](https://arxiv.org/pdf/2502.14837)

## MHA2MLA的应用场景

 * **边缘设备部署**：降低模型内存占用，使其适配资源受限的智能终端和物联网设备。
 * **大规模模型推理**：减少KV缓存，提升推理效率，降低硬件成本和能耗。
 * **结合量化技术**：与量化技术结合，进一步优化推理性能，适用于实时对话和在线翻译
   等场景。
 * **长文本处理**：降低长文本任务的内存瓶颈，高效处理长文档摘要和长篇生成。
 * **快速模型迁移**：仅需少量数据微调，快速将MHA模型转换为MLA架构，降低迁移成本。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**DeepSeek ↗**

DeepSeek 是由幻方量化公司推出的 AI 智能助手和开源大模型平台。其核心功能包括提供世界
级推理能力的 A

❓ 常见问题解答（FAQ）

MHA2MLA是什么方法？

MHA2MLA是复旦大学、华东师范大学、上海AI Lab等提出的微调方法，目标是把基于Transformer
的MHA模型高效迁移到MLA式推理架构，从而减少KV缓存、降低推理成本，并尽量保持原有性能。

MHA2MLA为什么能减少KV缓存？

它主要用两步实现：先通过partial-RoPE移除对注意力分数贡献较小的旋转位置编码维度，
再用联合SVD对键和值做低秩压缩，从而显著降低KV缓存占用。

MHA2MLA适合哪些应用场景？

适合边缘设备部署、[大模型](https://paooo.com/ai-study/)推理、长文本处理以及与量化
技术结合的场景。由于只需少量数据微调，它也适合资源受限环境下快速做模型迁移和效率
优化。

🔬 语宙深潜追问 · 进阶实操拆解

partial-RoPE和SVD压缩为什么能省这么多缓存？

partial-RoPE保留关键位置信息，SVD把高维投影压到低秩表示，KV缓存因此大幅变小。关键
是控制压缩层数和秩，避免长上下文下信息损失过快。

0.3%数据微调为什么还能保持性能？

因为迁移目标不是从零学，而是把已有MHA行为映射到MLA表示空间。只要样本覆盖长短上下文、
不同注意模式和边界案例，小数据也能完成对齐。

🗳️ 读者观点微投票 · 您的实战立场是？

MHA迁移到MLA，最该优先牺牲什么？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [vLLM深度解析：开源大模型推理框架，PagedAttention技术如何提升吞吐量10倍并大幅降低硬件成本](https://paooo.com/ai-tool/11826/)
 * [优化 Character.AI 的 AI 推理 [译]](https://paooo.com/ai-study/8737/)
 * [京东开源xLLM：国产芯片AI推理框架，服务-引擎分离架构实现端云一体高效部署](https://paooo.com/aigc-news/13350/)
 * [腾讯开源FastMTP：大模型推理加速2倍且质量无损，实战代码/数学场景速览](https://paooo.com/aigc-news/13631/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/21081/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
