Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: MHA2MLA – 复旦、上海AI Lab等推出优化LLM推理效率的方法
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
MHA2MLA – 复旦、上海AI Lab等推出优化LLM推理效率的方法
Prompt 语宙 > AIGC 资讯 > MHA2MLA – 复旦、上海AI Lab等推出优化LLM推理效率的方法
AIGC 资讯

MHA2MLA – 复旦、上海AI Lab等推出优化LLM推理效率的方法

Prompt 语宙研究院
最近更新: 2026年6月8日 下午5:18
AI智能体 DeepSeek 大模型微调 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 用partial-RoPE删减低贡献位置编码维度,再以联合SVD压缩KV缓存,直击推理内存瓶颈。
  • 仅需原始数据0.3%到0.6%微调,就能把MHA迁移到MLA式高效推理,数据成本极低。
  • 实测可大幅减少KV缓存,最高降96.87%,并将LongBench性能损失控制在0.5%左右。

MHA2MLA是什么

MHA2MLA是复旦大学、华东师范大学、上海AI Lab等机构联合推出的数据高效的微调方法,基于引入DeepSeek的多头潜在注意力机制(MLA),优化任何基于Transformer的LLM的推理效率,降低推理成本。MHA2MLA基于两个关键策略实现:一是partial-RoPE,移除对注意力分数贡献较小的查询和键的旋转位置编码(RoPE)维度;二是低秩近似,基于联合奇异值分解(SVD)对键和值进行压缩,减少KV缓存的内存占用。MHA2MLA仅需使用原始数据的0.3%到0.6%进行微调,能在大幅减少KV缓存(如92.19%)的同时,将性能损失控制在极小范围内(如LongBench性能仅下降0.5%)。

阅读目录
  • MHA2MLA是什么
  • MHA2MLA的主要功能
  • MHA2MLA的技术原理
  • MHA2MLA的项目地址
  • MHA2MLA的应用场景

MHA2MLA

MHA2MLA的主要功能

  • 显著减少KV缓存:基于低秩压缩技术,将KV缓存的大小大幅减少(最高可达96.87%),降低推理时的内存占用。
  • 保持模型性能:在极低的数据量(0.3%到0.6%的原始训练数据)下进行微调,将性能损失控制在极小范围内(如LongBench性能仅下降0.5%)。
  • 与现有技术兼容:与量化技术(如4-bit量化)结合使用,进一步提升推理效率。
  • 数据高效性:仅需少量数据即可完成从MHA到MLA的架构转换,适合在资源受限的环境中快速部署。

MHA2MLA的技术原理

  • Partial-RoPE(部分旋转位置编码):在MHA中,旋转位置编码(RoPE)基于旋转操作将位置信息融入查询向量(Q)和键向量(K),帮助模型捕捉序列中的位置关系。基于计算每个维度对注意力分数的贡献,移除贡献较小的RoPE维度(即“不重要的”维度),减少计算量和内存占用。这一过程称为“部分RoPE”,在保留关键位置信息的同时,为低秩压缩腾出空间。
  • 低秩近似(Low-Rank Approximation):MLA基于低秩联合压缩键值(KV)减少内存占用。MHA2MLA借鉴这一思想,对MHA中的键和值参数矩阵进行奇异值分解(SVD)。将键和值矩阵分解为低秩矩阵的乘积,用更少的参数近似原始矩阵。为更好地保留键和值之间的交互信息,MHA2MLA联合SVD(SVDjoint)策略,对键和值矩阵进行联合分解,而不是分别处理。

MHA2MLA的项目地址

  • GitHub仓库:https://github.com/JT-Ushio/MHA2MLA
  • arXiv技术论文:https://arxiv.org/pdf/2502.14837

MHA2MLA的应用场景

  • 边缘设备部署:降低模型内存占用,使其适配资源受限的智能终端和物联网设备。
  • 大规模模型推理:减少KV缓存,提升推理效率,降低硬件成本和能耗。
  • 结合量化技术:与量化技术结合,进一步优化推理性能,适用于实时对话和在线翻译等场景。
  • 长文本处理:降低长文本任务的内存瓶颈,高效处理长文档摘要和长篇生成。
  • 快速模型迁移:仅需少量数据微调,快速将MHA模型转换为MLA架构,降低迁移成本。
🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
DeepSeek ↗
DeepSeek 是由幻方量化公司推出的 AI 智能助手和开源大模型平台。其核心功能包括提供世界级推理能力的 A
❓ 常见问题解答(FAQ)
MHA2MLA是什么方法?

MHA2MLA是复旦大学、华东师范大学、上海AI Lab等提出的微调方法,目标是把基于Transformer的MHA模型高效迁移到MLA式推理架构,从而减少KV缓存、降低推理成本,并尽量保持原有性能。

MHA2MLA为什么能减少KV缓存?

它主要用两步实现:先通过partial-RoPE移除对注意力分数贡献较小的旋转位置编码维度,再用联合SVD对键和值做低秩压缩,从而显著降低KV缓存占用。

MHA2MLA适合哪些应用场景?

适合边缘设备部署、大模型推理、长文本处理以及与量化技术结合的场景。由于只需少量数据微调,它也适合资源受限环境下快速做模型迁移和效率优化。

🔬 语宙深潜追问 · 进阶实操拆解
partial-RoPE和SVD压缩为什么能省这么多缓存?

partial-RoPE保留关键位置信息,SVD把高维投影压到低秩表示,KV缓存因此大幅变小。关键是控制压缩层数和秩,避免长上下文下信息损失过快。

0.3%数据微调为什么还能保持性能?

因为迁移目标不是从零学,而是把已有MHA行为映射到MLA表示空间。只要样本覆盖长短上下文、不同注意模式和边界案例,小数据也能完成对齐。

🗳️ 读者观点微投票 · 您的实战立场是?
MHA迁移到MLA,最该优先牺牲什么?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🐋 所属权威专题:DeepSeek 深度实战与部署 →
  • vLLM深度解析:开源大模型推理框架,PagedAttention技术如何提升吞吐量10倍并大幅降低硬件成本
  • 优化 Character.AI 的 AI 推理 [译]
  • 京东开源xLLM:国产芯片AI推理框架,服务-引擎分离架构实现端云一体高效部署
  • 腾讯开源FastMTP:大模型推理加速2倍且质量无损,实战代码/数学场景速览
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
UFO² – 微软推出的 Windows 桌面 Agent 操作系统
Hy3 – 腾讯混元开源的混合专家模型
AI复活传奇!斯坦·李获合法授权数字重生, ElevenLabs 用生成式AI重塑其标志性声音
AI-Researcher – 香港大学推出的开源自动化科学研究工具
AI 规模化的可行性:探索和辩论 [译]
TAGGED:AI智能体DeepSeek大模型微调开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 LangManus – AI自动化框架,多智能体协同完成复杂任务 LangManus – AI自动化框架,多智能体协同完成复杂任务
下一篇 子曰-o1 – 网易有道推出国内首个输出分步式讲解的推理模型 子曰-o1 – 网易有道推出国内首个输出分步式讲解的推理模型
Ad image
Ad image

最近更新

WordPress 7.2版本更新与默认随机重定向、Secrets API撤回及MCP核心能力拆解封面图
官方博客竟把关闭过滤器写错了!WordPress 7.2前瞻全拆解:默认/random/暗藏隐私与SEO风险、Secrets API紧急撤回与3项MCP只读能力落地
AI 工具
Anthropic上市募资与算力长约的隐喻:现金光环上升,数据中心暗链延伸,治理水晶承受张力与阻力冲击。
募资超1070亿美元却背负9000亿算力长约!Anthropic史上最大IPO背后的三大隐忧:1040亿年内亏损、地方抵制潮与PBC治理死结
AIGC 资讯
微软Copilot与Claude/ChatGPT价格战隐喻:发光玻璃表格堡垒守住Excel,数据流高效汇聚,企业AI竞争升级
3000万付费仅吃下4.5亿席位不到7%!微软Ignite正面叫板Claude与ChatGPT:月均30美元VS 205美元价格战与Excel保卫战全拆解
AIGC 资讯
联想AI推理时代的端边云全栈算力插画:玻璃拟态服务器核心发光,光流连接云端与边缘节点,呈现营收与订单增长动能。
AI营收暴涨80%且握5300亿服务器订单!联想Q2单季营收首破2000亿、净利狂飙166%:端边云全栈算力如何接住推理时代红利?
AIGC 资讯

相关推荐

Make-It-Animatable – 中科大联合腾讯推出的自动生成即时动画准备资产
AIGC 资讯

Make-It-Animatable – 中科大联合腾讯推出的自动生成即时动画准备资产

Prompt 语宙研究院
3D与空间智能 AI视频生成 开源大模型
MeetingMind – AI会议助手,自动捕捉、分析和处理会议见解
AIGC 资讯

MeetingMind – AI会议助手,自动捕捉、分析和处理会议见解

Prompt 语宙研究院
AI办公效率 AI智能体 AI音频与语音 Next.js RAG检索增强
Kairos 3.0: 大晓机器人开源商业级世界模型,用物理AI加速具身智能落地
AI 工具AIGC 资讯

Kairos 3.0: 大晓机器人开源商业级世界模型,用物理AI加速具身智能落地

Prompt 语宙研究院
AI开源 Kairos 3.0 世界模型 具身智能 大晓机器人
Slazzer图像背景去除
AI 工具

Slazzer图像背景去除

remaker
AI办公效率 AI智能体 AI绘画提示词 开源大模型
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.