---
title: "什么是“专家混合模型”（Mixture-of-Experts，MoE）？ [译]"
url: "https://paooo.com/ai-study/7080/"
author: "宝玉的分享"
published_at: "2024-02-09T12:15:13+08:00"
updated_at: "2024-03-09T19:15:26+08:00"
categories: "强化 AI 学习"
tags: "AI智能体, Llama, 大模型微调, 开源大模型"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# 什么是“专家混合模型”（Mixture-of-Experts，MoE）？ [译]

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/ai-study/7080/) · 作者：宝玉的分享 · 发布时间：2024-02-09

## AI 30 秒核心看点 (TL;DR)

- MoE 的核心是“路由 + 专家”分工：每个 Token 只激活少量专家，提升计算效率。
- 它能在不显著增加推理成本的前提下扩展参数规模，并更好利用 GPU 并行能力。
- 适合处理稀疏计算与多任务场景，常见实现依赖 softmax 门控与条件计算。

“专家混合模型”是一种创新的神经网络架构设计，它在 Transformer 架构中融合了众多的专家/模型层。在这种设计中，数据流动时，每一个输入的 Token 都会被动态分配给一些专家进行处理。这种做法使得计算更高效，因为每个专家都能在其擅长的特定任务上发挥出色。

## 
关键要素包括：

- 专家：MoE 层由众多专家组成，既可以是小型的多层感知机（MLP），也可以是像 Mistral 7B 这样复杂的大语言模型（LLM）。

- 路由器：负责将输入的 Token 分配给合适的专家。路由策略有两种：由 Token 选择路由器，或由路由器选择 Token。具体是怎样实现的呢？系统通过一个 softmax 门控函数来建立一个概率分布，从而在众多专家或 Token 中选出最合适的几个。

## 
为何选择 MoE？

- 每个专家可以专注于处理不同的任务或数据的不同部分。

- 为大语言模型增加了可学习的参数，同时不会增加推理成本。

- 能够高效处理稀疏矩阵。

- 所有专家层可并行计算，充分利用了 GPU 的并行处理能力。

- 有助于在降低计算成本的同时，缩短模型训练时间并提升效果！

## 
推荐阅读的论文：

- 《稀疏门控的专家混合模型层》(2017)：点击查看

- 《GShard：利用条件计算和自动分片扩展巨型模型》(2020)：点击查看

- 《MegaBlocks：使用专家混合模型进行高效稀疏训练》(2022)：点击查看

- 《专家混合模型遇见指令调整》(2023)：点击查看

## 常见问题解答 (FAQ)

### MoE专家混合模型到底是什么？
MoE（Mixture-of-Experts）是一种神经网络架构，在 Transformer 中加入多个专家层，由路由器为每个 Token 选择少量专家参与计算。这样可以让模型容量变大，但只激活部分参数，从而提高效率。

### MoE为什么能提升大模型效率？
因为它采用稀疏激活机制：每个输入只分配给少数专家处理，而不是让所有参数都参与计算。这样既能增加可学习参数，又能尽量控制推理成本，并更适合并行训练。

### MoE和普通Transformer有什么区别？
普通 Transformer 通常让所有层对每个 Token 进行完整计算；MoE 则在部分层中引入专家与路由器，只让被选中的专家处理输入。结果是模型更大、计算更稀疏、训练和推理更高效。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
