# MiLoRA – 上海财经、南方科技和清华大学联合推出针对LLMs的微调方法

- Link: https://paooo.com/aigc-news/25748/
- Published: 2026-07-16T03:48:29+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 基于SVD拆分权重矩阵，MiLoRA只微调次要奇异分量，保留预训练知识。
 * 把每个LoRA模块视为专家，并用提示路由机制动态选择，降低生成延迟。
 * 在多项基准测试中优于传统LoRA，适合NLP、多租户和在线生成场景。

## MiLoRA是什么

MiLoRA是参数高效的大型语言模型（LLMs）微调方法，通过更新权重分量来矩阵的次要奇异
减少计算和内存成本。方法基于奇异值分解（SVD）将权重矩阵分为主要和次要两部分，主要
部分包含重要知识，次要部分包含噪声或长尾信息。在微调过程中，MiLoRA保持主要部分不变，
只优化次要部分，在适应新任务的同时保留预训练模型的知识。实验表明，MiLoRA在多个基准
测试中性能优于传统方法，训练和推理效率更高。

阅读目录

 * [MiLoRA是什么](https://paooo.com/aigc-news/25748/#milora%e6%98%af%e4%bb%80%e4%b9%88)
 * [MiLoRA的主要功能](https://paooo.com/aigc-news/25748/#milora%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [MiLoRA的技术原理](https://paooo.com/aigc-news/25748/#milora%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [MiLoRA的项目地址](https://paooo.com/aigc-news/25748/#milora%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [MiLoRA的应用场景](https://paooo.com/aigc-news/25748/#milora%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![MiLoRA](https://paooo.com/wp-content/uploads/2026/07/MiLoRA-website-1.avif)

## MiLoRA的主要功能

 * **参数高效微调**：MiLoRA用更少的参数调整来微调大型语言模型，减少计算资源的需求。
 * **减少延迟**：基于提示的路由机制，MiLoRA减少在多租户环境中生成新标记时的延迟。
 * **性能提升**：在各种自然语言处理任务中，MiLoRA显示出比传统LoRA方法更好的性能。
 * **专家系统**：将每个LoRA模块视为一个专家，基于路由机制动态选择最合适的专家进行
   处理。
 * **适应性**：根据输入提示动态决定激活哪些LoRA专家，提高模型的适应性和灵活性。

## MiLoRA的技术原理

 * **LoRA模块作为专家**：在MiLoRA中，每个LoRA模块被视为一个专家，负责处理特定的任务
   或数据子集。
 * **基于提示的路由机制**：MiLoRA引入一个基于输入提示的路由机制，路由机制在生成第
   一个新标记之前计算专家路由结果，并在后续标记生成中重用结果，避免对每个新标记都
   进行路由计算的需要。
 * **低秩适应（LoRA）**：基于低秩矩阵对Transformer层的权重进行重新参数化，实现参数
   的高效调整。
 * **动态专家选择**：在Transformer层级上，MiLoRA动态选择哪个LoRA专家（即哪个Transformer
   模块的LoRA）被激活。
 * **负载均衡损失**：为平衡不同LoRA专家的使用，MiLoRA在训练过程中加入负载均衡损失，
   确保模型不会过度依赖某些专家。

## MiLoRA的项目地址

 * **arXiv技术论文**：[https://arxiv.org/pdf/2410.18035](https://arxiv.org/pdf/2410.18035)

## MiLoRA的应用场景

 * **自然语言处理任务**：MiLoRA应用在各种NLP任务中，如文本分类、情感分析、问答系统、
   机器翻译等，提高模型在特定任务上的性能。
 * **多租户环境**：在云计算或服务平台中，用在优化资源利用率，减少延迟提升用户体验。
 * **在线内容生成**：在需要实时生成内容的应用中，如聊天机器人、内容推荐系统等，提高
   响应速度和处理效率。
 * **教育和培训**：用在个性化教育平台，基于微调模型适应不同学生的学习习惯和需求。
 * **医疗咨询和诊断**：在医疗领域，微调模型提供更准确的医疗咨询和诊断建议。

❓ 常见问题解答（FAQ）

MiLoRA和LoRA有什么区别？

MiLoRA是在LoRA基础上的改进方法。它将每个LoRA模块视为专家，并引入基于输入提示的路
由机制，只在生成首个新标记前计算路由结果，后续复用，从而减少延迟并提升效率。

MiLoRA为什么能降低微调成本？

MiLoRA基于奇异值分解，将权重矩阵分为主要和次要部分，微调时保持主要部分不变，只优
化次要部分。这样可减少需要更新的参数量，降低计算和内存成本。

MiLoRA适合哪些应用场景？

MiLoRA适合文本分类、情感分析、问答、机器翻译等NLP任务，也适用于多租户云服务、在线
内容生成、个性化教育和医疗咨询等需要低延迟、高效率微调的场景。

🔬 语宙深潜追问 · 进阶实操拆解

MiLoRA适合哪些微调场景最明显？

它更适合参数预算紧、需要多任务并行或多租户部署的场景。若模型较大、更新频繁且对延迟
敏感，压缩次要奇异分量能明显省显存和训练开销，同时保持较强效果。

和LoRA相比，迁移到现有训练框架难吗？

改动通常集中在权重分解与更新策略，不必重写整套训练流程。实践中先在少量层试点，再
对比收敛速度、显存占用和下游指标，确认收益后再扩大到全模型。

🗳️ 读者观点微投票 · 您的实战立场是？

只调次要奇异分量，真能超过LoRA吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🧬 所属权威专题：RAG 知识库与模型微调 →](https://paooo.com/topics/rag-fine-tuning/)

 * [MeteoRA – 南大推出高效可扩展的多任务嵌入框架](https://paooo.com/aigc-news/21597/)
 * [LaTRO – 基于自我奖励提升LLMs复杂推理能力的框架](https://paooo.com/aigc-news/25474/)
 * [vLLM深度解析：开源大模型推理框架，PagedAttention技术如何提升吞吐量10倍并大幅降低硬件成本](https://paooo.com/ai-tool/11826/)
 * [Lyra – SmartMore联合多所高校推出的增强多模态交互能力](https://paooo.com/aigc-news/24815/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/25748/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)