# 什么是“专家混合模型”（Mixture-of-Experts，MoE）？ [译]

- Link: https://paooo.com/ai-study/7080/
- Published: 2024-02-09T12:15:13+08:00
- Author: 宝玉的分享

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * MoE 的核心是“路由 + 专家”分工：每个 Token 只激活少量专家，提升计算效率。
 * 它能在不显著增加推理成本的前提下扩展参数规模，并更好利用 GPU 并行能力。
 * 适合处理稀疏计算与多任务场景，常见实现依赖 softmax 门控与条件计算。

“专家混合模型”是一种创新的神经网络架构设计，它在 Transformer 架构中融合了众多的专家/
模型层。在这种设计中，数据流动时，每一个输入的 Token 都会被动态分配给一些专家进行
处理。这种做法使得计算更高效，因为每个专家都能在其擅长的特定任务上发挥出色。

阅读目录

 * [关键要素包括：](https://paooo.com/ai-study/7080/#%e5%85%b3%e9%94%ae%e8%a6%81%e7%b4%a0%e5%8c%85%e6%8b%ac)
 * [为何选择 MoE？](https://paooo.com/ai-study/7080/#%e4%b8%ba%e4%bd%95%e9%80%89%e6%8b%a9-moe)
 * [推荐阅读的论文：](https://paooo.com/ai-study/7080/#%e6%8e%a8%e8%8d%90%e9%98%85%e8%af%bb%e7%9a%84%e8%ae%ba%e6%96%87)

##  关键要素包括：

 * 专家：MoE 层由众多专家组成，既可以是小型的多层感知机（MLP），也可以是像 Mistral
   7B 这样复杂的大语言模型（LLM）。
 * 路由器：负责将输入的 Token 分配给合适的专家。路由策略有两种：由 Token 选择路由
   器，或由路由器选择 Token。具体是怎样实现的呢？系统通过一个 softmax 门控函数来
   建立一个概率分布，从而在众多专家或 Token 中选出最合适的几个。

##  为何选择 MoE？

 * 每个专家可以专注于处理不同的任务或数据的不同部分。
 * 为大语言模型增加了可学习的参数，同时不会增加推理成本。
 * 能够高效处理稀疏矩阵。
 * 所有专家层可并行计算，充分利用了 GPU 的并行处理能力。
 * 有助于在降低计算成本的同时，缩短模型训练时间并提升效果！

##  推荐阅读的论文：

 * 《稀疏门控的专家混合模型层》(2017)：点击查看
 * 《GShard：利用条件计算和自动分片扩展巨型模型》(2020)：点击查看
 * 《MegaBlocks：使用专家混合模型进行高效稀疏训练》(2022)：点击查看
 * 《专家混合模型遇见指令调整》(2023)：点击查看

❓ 常见问题解答（FAQ）

MoE专家混合模型到底是什么？

MoE（Mixture-of-Experts）是一种神经网络架构，在 Transformer 中加入多个专家层，由
路由器为每个 Token 选择少量专家参与计算。这样可以让模型容量变大，但只激活部分参数，
从而提高效率。

MoE为什么能提升[大模型](https://paooo.com/ai-study/)效率？

因为它采用稀疏激活机制：每个输入只分配给少数专家处理，而不是让所有参数都参与计算。
这样既能增加可学习参数，又能尽量控制推理成本，并更适合并行训练。

MoE和普通Transformer有什么区别？

普通 Transformer 通常让所有层对每个 Token 进行完整计算；MoE 则在部分层中引入专家
与路由器，只让被选中的专家处理输入。结果是模型更大、计算更稀疏、训练和推理更高效。

🔬 语宙深潜追问 · 进阶实操拆解

MoE 为什么能省推理成本？

因为每个 Token 只激活少量专家，而不是让整个模型全量参与计算。这样参数规模可以继续
扩大，但单次推理的计算量相对可控，适合在容量和效率之间做折中。

训练 MoE 最难的是什么？

核心难点是路由稳定性和负载均衡：如果少数专家被过度调用，训练会失衡、吞吐下降。通常
要配合辅助损失、容量限制和并行策略，才能让专家真正“各司其职”。

🗳️ 读者观点微投票 · 您的实战立场是？

MoE 会成为大模型降本的主流路线吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [深入解析“混合专家模型（Mixtral of Experts）” [译]](https://paooo.com/ai-study/7087/)
 * [MoE++ – 昆仑万维和北大联合推出的混合专家架构](https://paooo.com/aigc-news/26173/)
 * [HMoE – 腾讯混元团队提出的新型神经网络架构](https://paooo.com/aigc-news/27150/)
 * [XVERSE-MoE-A36B – 元象开源的国内最大MoE模型，推理性能提升100%](https://paooo.com/aigc-news/26904/)

[🏛️ 宝玉的分享](https://paooo.com/author/baoyu/) · 前沿大模型翻译与提示词工程实战
分享专栏，聚焦海外一手 AI 技术动态与工程实践。

[📄 Markdown 纯净版](https://paooo.com/ai-study/7080/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
