---
title: "MoE++ – 昆仑万维和北大联合推出的混合专家架构"
url: "https://paooo.com/aigc-news/26173/"
author: "Prompt 语宙研究院"
published_at: "2026-07-18T17:18:29+08:00"
updated_at: "2026-07-18T17:18:29+08:00"
categories: "AIGC 资讯"
tags: "AI办公效率, HuggingFace, 大模型微调, 开源大模型"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# MoE++ – 昆仑万维和北大联合推出的混合专家架构

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/26173/) · 作者：Prompt 语宙研究院 · 发布时间：2026-07-18

## AI 30 秒核心看点 (TL;DR)

- 引入零计算量专家与动态路由，MoE++在不增加过多计算的前提下提升模型效率。
- 门控残差让Token参考前一层路由路径，增强跨层选择稳定性与信息流动。
- 实验结果显示，同规模下优于传统MoE，专家吞吐速度提升1.1到2.1倍。

## MoE++是什么

MoE++是一种新型的混合专家（Mixture-of-Experts）架构，由昆仑万维2050研究院与北大袁粒团队联合推出。基于引入零计算量专家，零专家、复制专家和常数专家，降低计算成本、提升模型性能。MoE++支持每个Token动态地与不同数量的前馈网络专家交互，甚至跳过某些层，优化计算资源分配。MoE++基于门控残差帮助Token在选择专家时考虑前一层的路由路径，实现更稳定的路由。实验表明，MoE++在相同模型大小下比传统MoE模型性能更优，专家吞吐速度提升1.1到2.1倍，且易于部署。

## MoE++的主要功能

- **降低计算成本**：MoE++引入零计算量专家，支持模型中的每个Token动态地与不同数量的前馈网络（FFN）专家交互，甚至跳过某些层，减少不必要的计算。

- **提升模型性能**：减少简单Token所需的FFN专家数量，MoE++释放出更多的专家资源专注于处理复杂的Token，提升模型的整体性能。

- **优化资源分配**：MoE++通过灵活的计算分配，让模型将计算资源集中在更需要的Token上，提高计算效率。

- **稳定路由**：MoE++基于门控残差（gating residuals）机制，让Token在选择专家时参考前一层的路由路径，实现更稳定的专家选择。

- **易于部署**：由于零计算量专家的参数极小，MoE++在同一GPU上部署所有这类专家，避免分布式FFN专家部署带来的通信开销和负载不均问题。

## MoE++的技术原理

- **零计算量专家**：MoE++引入三种类型的零计算量专家，包括零专家（输出空向量）、复制专家（将输入直接作为输出）、常数专家（用可训练的向量替代输入）。

- **动态专家选择**：与传统MoE方法不同，MoE++支持每个Token根据其复杂性动态选择不同数量的FFN专家进行处理。

- **门控残差**：MoE++在专家选择过程中加入门控残差，让Token在选择当前层的专家时考虑前一层的路由路径，增强模型在不同层之间的信息流动。

- **异构专家结构**：MoE++的专家结构是异构的，不同类型的专家（FFN专家和零计算量专家）在同一模型中协同工作，提高模型的适应性和灵活性。

- **负载平衡**：MoE++基于引入负载平衡损失和专家容量分配策略，确保模型在训练过程中专家的负载均衡，避免某些专家过载而其他专家闲置的问题。

## MoE++的项目地址

- **GitHub仓库**：[https://github.com/SkyworkAI/MoE-plus-plus](https://github.com/SkyworkAI/MoE-plus-plus)

- **HuggingFace模型库**：[https://huggingface.co/Chat-UniVi/MoE-Plus-Plus-7B](https://huggingface.co/Chat-UniVi/MoE-Plus-Plus-7B)

- **arXiv技术论文**：[https://arxiv.org/pdf/2410.07348](https://arxiv.org/pdf/2410.07348)

## MoE++的应用场景

- **自然语言处理（NLP）研究者**：研究者构建和训练更高效的大型语言模型，进行语言理解、文本生成、机器翻译、问答系统等研究。

- **企业开发者**：企业开发者开发高性能的NLP应用，如智能客服、内容推荐系统、自动摘要、情感分析等，提高产品的智能化水平。

- **云计算和AI服务提供商**：提供商集成MoE++架构，为客户提供更高效、成本更低的AI服务，尤其是在需要处理大量语言数据的场景中。

- **学术机构**：学术机构进行各种NLP任务的教学和研究，帮助学生和研究人员理解先进的深度学习模型和算法。

## 常见问题解答 (FAQ)

### MoE++和传统MoE有什么区别？
MoE++在传统MoE基础上加入零专家、复制专家和常数专家等零计算量专家，并支持Token动态选择不同数量的FFN专家，还通过门控残差增强路由稳定性，因此在同规模下更高效、性能更优。

### MoE++为什么更容易部署？
因为零计算量专家参数极小，可以在同一GPU上部署这些专家，减少分布式FFN专家带来的通信开销和负载不均问题，从而让部署更简单、资源利用更集中。

### MoE++适合哪些应用场景？
MoE++适合NLP研究、企业级智能客服、内容推荐、自动摘要、情感分析，以及云计算和AI服务提供商的高效推理场景，也适合学术机构用于教学与模型研究。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
