# MoE++ – 昆仑万维和北大联合推出的混合专家架构

- Link: https://paooo.com/aigc-news/26173/
- Published: 2026-07-18T17:18:29+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 引入零计算量专家与动态路由，MoE++在不增加过多计算的前提下提升模型效率。
 * 门控残差让Token参考前一层路由路径，增强跨层选择稳定性与信息流动。
 * 实验结果显示，同规模下优于传统MoE，专家吞吐速度提升1.1到2.1倍。

## MoE++是什么

MoE++是一种新型的混合专家（Mixture-of-Experts）架构，由昆仑万维2050研究院与北大袁
粒团队联合推出。基于引入零计算量专家，零专家、复制专家和常数专家，降低计算成本、
提升模型性能。MoE++支持每个Token动态地与不同数量的前馈网络专家交互，甚至跳过某些
层，优化计算资源分配。MoE++基于门控残差帮助Token在选择专家时考虑前一层的路由路径，
实现更稳定的路由。实验表明，MoE++在相同模型大小下比传统MoE模型性能更优，专家吞吐
速度提升1.1到2.1倍，且易于部署。

阅读目录

 * [MoE++是什么](https://paooo.com/aigc-news/26173/#moe%e6%98%af%e4%bb%80%e4%b9%88)
 * [MoE++的主要功能](https://paooo.com/aigc-news/26173/#moe%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [MoE++的技术原理](https://paooo.com/aigc-news/26173/#moe%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [MoE++的项目地址](https://paooo.com/aigc-news/26173/#moe%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [MoE++的应用场景](https://paooo.com/aigc-news/26173/#moe%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![MoE++](https://paooo.com/wp-content/uploads/2026/07/MoE-website-1.avif)

## MoE++的主要功能

 * **降低计算成本**：MoE++引入零计算量专家，支持模型中的每个Token动态地与不同数量
   的前馈网络（FFN）专家交互，甚至跳过某些层，减少不必要的计算。
 * **提升模型性能**：减少简单Token所需的FFN专家数量，MoE++释放出更多的专家资源专注
   于处理复杂的Token，提升模型的整体性能。
 * **优化资源分配**：MoE++通过灵活的计算分配，让模型将计算资源集中在更需要的Token
   上，提高计算效率。
 * **稳定路由**：MoE++基于门控残差（gating residuals）机制，让Token在选择专家时参考
   前一层的路由路径，实现更稳定的专家选择。
 * **易于部署**：由于零计算量专家的参数极小，MoE++在同一GPU上部署所有这类专家，避免
   分布式FFN专家部署带来的通信开销和负载不均问题。

## MoE++的技术原理

 * **零计算量专家**：MoE++引入三种类型的零计算量专家，包括零专家（输出空向量）、
   复制专家（将输入直接作为输出）、常数专家（用可训练的向量替代输入）。
 * **动态专家选择**：与传统MoE方法不同，MoE++支持每个Token根据其复杂性动态选择不同
   数量的FFN专家进行处理。
 * **门控残差**：MoE++在专家选择过程中加入门控残差，让Token在选择当前层的专家时考虑
   前一层的路由路径，增强模型在不同层之间的信息流动。
 * **异构专家结构**：MoE++的专家结构是异构的，不同类型的专家（FFN专家和零计算量专家）
   在同一模型中协同工作，提高模型的适应性和灵活性。
 * **负载平衡**：MoE++基于引入负载平衡损失和专家容量分配策略，确保模型在训练过程
   中专家的负载均衡，避免某些专家过载而其他专家闲置的问题。

## MoE++的项目地址

 * **GitHub仓库**：[https://github.com/SkyworkAI/MoE-plus-plus](https://github.com/SkyworkAI/MoE-plus-plus)
 * **HuggingFace模型库**：[https://huggingface.co/Chat-UniVi/MoE-Plus-Plus-7B](https://huggingface.co/Chat-UniVi/MoE-Plus-Plus-7B)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2410.07348](https://arxiv.org/pdf/2410.07348)

## MoE++的应用场景

 * **自然语言处理（NLP）研究者**：研究者构建和训练更高效的大型语言模型，进行语言
   理解、文本生成、机器翻译、问答系统等研究。
 * **企业开发者**：企业开发者开发高性能的NLP应用，如智能客服、内容推荐系统、自动
   摘要、情感分析等，提高产品的智能化水平。
 * **云计算和AI服务提供商**：提供商集成MoE++架构，为客户提供更高效、成本更低的AI
   服务，尤其是在需要处理大量语言数据的场景中。
 * **学术机构**：学术机构进行各种NLP任务的教学和研究，帮助学生和研究人员理解先进
   的深度学习模型和算法。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

❓ 常见问题解答（FAQ）

MoE++和传统MoE有什么区别？

MoE++在传统MoE基础上加入零专家、复制专家和常数专家等零计算量专家，并支持Token动态
选择不同数量的FFN专家，还通过门控残差增强路由稳定性，因此在同规模下更高效、性能更
优。

MoE++为什么更容易部署？

因为零计算量专家参数极小，可以在同一GPU上部署这些专家，减少分布式FFN专家带来的通信
开销和负载不均问题，从而让部署更简单、资源利用更集中。

MoE++适合哪些应用场景？

MoE++适合NLP研究、企业级智能客服、内容推荐、自动摘要、情感分析，以及云计算和AI服务
提供商的高效推理场景，也适合学术机构用于教学与模型研究。

🔬 语宙深潜追问 · 进阶实操拆解

零专家和常数专家有什么实际价值？

它们的核心价值是降低路由抖动和空转计算，让部分 token 走更稳定、更便宜的路径。对部署
方来说，这通常意味着更高吞吐和更低延迟，但也要防止专家利用率失衡。

MoE++落地时最该关注什么？

最该关注路由稳定性、专家负载均衡和推理部署复杂度。实验指标好不代表线上好用，必须
验证在长上下文、批量请求和多租户场景下是否仍能保持吞吐优势与输出一致性。

🗳️ 读者观点微投票 · 您的实战立场是？

MoE++ 会成为新一代主流架构吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [深入解析“混合专家模型（Mixtral of Experts）” [译]](https://paooo.com/ai-study/7087/)
 * [什么是“专家混合模型”（Mixture-of-Experts，MoE）？ [译]](https://paooo.com/ai-study/7080/)
 * [HMoE – 腾讯混元团队提出的新型神经网络架构](https://paooo.com/aigc-news/27150/)
 * [XVERSE-MoE-A36B – 元象开源的国内最大MoE模型，推理性能提升100%](https://paooo.com/aigc-news/26904/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/26173/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
