Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: MoE++ – 昆仑万维和北大联合推出的混合专家架构
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
MoE++ – 昆仑万维和北大联合推出的混合专家架构
Prompt 语宙 > AIGC 资讯 > MoE++ – 昆仑万维和北大联合推出的混合专家架构
AIGC 资讯

MoE++ – 昆仑万维和北大联合推出的混合专家架构

Prompt 语宙研究院
最近更新: 2026年7月18日 下午5:18
AI办公效率 HuggingFace 大模型微调 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 引入零计算量专家与动态路由,MoE++在不增加过多计算的前提下提升模型效率。
  • 门控残差让Token参考前一层路由路径,增强跨层选择稳定性与信息流动。
  • 实验结果显示,同规模下优于传统MoE,专家吞吐速度提升1.1到2.1倍。

MoE++是什么

MoE++是一种新型的混合专家(Mixture-of-Experts)架构,由昆仑万维2050研究院与北大袁粒团队联合推出。基于引入零计算量专家,零专家、复制专家和常数专家,降低计算成本、提升模型性能。MoE++支持每个Token动态地与不同数量的前馈网络专家交互,甚至跳过某些层,优化计算资源分配。MoE++基于门控残差帮助Token在选择专家时考虑前一层的路由路径,实现更稳定的路由。实验表明,MoE++在相同模型大小下比传统MoE模型性能更优,专家吞吐速度提升1.1到2.1倍,且易于部署。

阅读目录
  • MoE++是什么
  • MoE++的主要功能
  • MoE++的技术原理
  • MoE++的项目地址
  • MoE++的应用场景

MoE++

MoE++的主要功能

  • 降低计算成本:MoE++引入零计算量专家,支持模型中的每个Token动态地与不同数量的前馈网络(FFN)专家交互,甚至跳过某些层,减少不必要的计算。
  • 提升模型性能:减少简单Token所需的FFN专家数量,MoE++释放出更多的专家资源专注于处理复杂的Token,提升模型的整体性能。
  • 优化资源分配:MoE++通过灵活的计算分配,让模型将计算资源集中在更需要的Token上,提高计算效率。
  • 稳定路由:MoE++基于门控残差(gating residuals)机制,让Token在选择专家时参考前一层的路由路径,实现更稳定的专家选择。
  • 易于部署:由于零计算量专家的参数极小,MoE++在同一GPU上部署所有这类专家,避免分布式FFN专家部署带来的通信开销和负载不均问题。

MoE++的技术原理

  • 零计算量专家:MoE++引入三种类型的零计算量专家,包括零专家(输出空向量)、复制专家(将输入直接作为输出)、常数专家(用可训练的向量替代输入)。
  • 动态专家选择:与传统MoE方法不同,MoE++支持每个Token根据其复杂性动态选择不同数量的FFN专家进行处理。
  • 门控残差:MoE++在专家选择过程中加入门控残差,让Token在选择当前层的专家时考虑前一层的路由路径,增强模型在不同层之间的信息流动。
  • 异构专家结构:MoE++的专家结构是异构的,不同类型的专家(FFN专家和零计算量专家)在同一模型中协同工作,提高模型的适应性和灵活性。
  • 负载平衡:MoE++基于引入负载平衡损失和专家容量分配策略,确保模型在训练过程中专家的负载均衡,避免某些专家过载而其他专家闲置的问题。

MoE++的项目地址

  • GitHub仓库:https://github.com/SkyworkAI/MoE-plus-plus
  • HuggingFace模型库:https://huggingface.co/Chat-UniVi/MoE-Plus-Plus-7B
  • arXiv技术论文:https://arxiv.org/pdf/2410.07348

MoE++的应用场景

  • 自然语言处理(NLP)研究者:研究者构建和训练更高效的大型语言模型,进行语言理解、文本生成、机器翻译、问答系统等研究。
  • 企业开发者:企业开发者开发高性能的NLP应用,如智能客服、内容推荐系统、自动摘要、情感分析等,提高产品的智能化水平。
  • 云计算和AI服务提供商:提供商集成MoE++架构,为客户提供更高效、成本更低的AI服务,尤其是在需要处理大量语言数据的场景中。
  • 学术机构:学术机构进行各种NLP任务的教学和研究,帮助学生和研究人员理解先进的深度学习模型和算法。
🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
HuggingFace ↗
HuggingFace:AI模型开发社区,面向大语言模型场景提供便捷实用的在线功能支持,涵盖大模型等实用方向。
❓ 常见问题解答(FAQ)
MoE++和传统MoE有什么区别?

MoE++在传统MoE基础上加入零专家、复制专家和常数专家等零计算量专家,并支持Token动态选择不同数量的FFN专家,还通过门控残差增强路由稳定性,因此在同规模下更高效、性能更优。

MoE++为什么更容易部署?

因为零计算量专家参数极小,可以在同一GPU上部署这些专家,减少分布式FFN专家带来的通信开销和负载不均问题,从而让部署更简单、资源利用更集中。

MoE++适合哪些应用场景?

MoE++适合NLP研究、企业级智能客服、内容推荐、自动摘要、情感分析,以及云计算和AI服务提供商的高效推理场景,也适合学术机构用于教学与模型研究。

🔬 语宙深潜追问 · 进阶实操拆解
零专家和常数专家有什么实际价值?

它们的核心价值是降低路由抖动和空转计算,让部分 token 走更稳定、更便宜的路径。对部署方来说,这通常意味着更高吞吐和更低延迟,但也要防止专家利用率失衡。

MoE++落地时最该关注什么?

最该关注路由稳定性、专家负载均衡和推理部署复杂度。实验指标好不代表线上好用,必须验证在长上下文、批量请求和多租户场景下是否仍能保持吞吐优势与输出一致性。

🗳️ 读者观点微投票 · 您的实战立场是?
MoE++ 会成为新一代主流架构吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🐋 所属权威专题:DeepSeek 深度实战与部署 →
  • 深入解析“混合专家模型(Mixtral of Experts)” [译]
  • 什么是“专家混合模型”(Mixture-of-Experts,MoE)? [译]
  • HMoE – 腾讯混元团队提出的新型神经网络架构
  • XVERSE-MoE-A36B – 元象开源的国内最大MoE模型,推理性能提升100%
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
腾讯微信团队发布 Stand-In:仅需1%参数微调,即可打造高保真身份一致的AI视频生成新范式
Draw an Audio – 中科院联合美团推出的视频生成音频系统
Substack 接入 Pangram 检测工具,上线网页与移动端 AI 文本识别功能
​MiniMax Code 2. 0 桌面端来了:长任务不再卡顿中断,远程操控和浏览器接管本月亮相
谷歌搜索引入“无结果生图”:AI 概览变身创意画布,恐分流网站流量
TAGGED:AI办公效率HuggingFace大模型微调开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 Granite 3.0 – IBM推出用于企业级应用的系列AI模型 Granite 3.0 – IBM推出用于企业级应用的系列AI模型
下一篇 BiGR – 统一条件生成图像的模型框架,增强生成质量和表示能力 BiGR – 统一条件生成图像的模型框架,增强生成质量和表示能力
Ad image
Ad image

最近更新

NVIDIA Vera Rubin 亮相 MLPerf 评测并在训练与端点测试中领先
单GPU训练性能翻倍且智能体每瓦吞吐暴增10倍!NVIDIA Vera Rubin首战MLPerf大获全胜:DeepSeek-V3千卡扩展效率97%与Agentic端点推理全景深度拆解
AIGC 资讯
美国商务部大楼与半导体出口管制新规
算力超1200万TPP即触发许可且限期90天整改!美国商务部突发全球数据中心新规:封死离岸云端远程租用算力与废止AI扩散规则全景深度拆解
AIGC 资讯
AI 原生 CRM 初创公司 Dreamteam 获 5300 万美元融资,挑战 Salesforce 与 HubSpot
斩获5300万美元对标Salesforce!前Freshworks高管创办AI原生CRM Dreamteam:基于Company Brain虚拟记忆与自动化智能体流水线深度拆解
AI 工具
Optimizely 谈营销智能体落地:企业需将审核从输出转向输入
告别Vibe Coding虚火!Optimizely解密企业级营销智能体落地法则:从“输出审核”走向“输入约束”、专用Harness架构与800落地页规模化实战
最新趋势

相关推荐

Vanna – 开源AI检索生成框架,自动生成精确的SQL查询
AIGC 资讯

Vanna – 开源AI检索生成框架,自动生成精确的SQL查询

Prompt 语宙研究院
Anthropic Claude OpenAI RAG检索增强 大模型微调
图 7: GPT-4 在非本领域数据集上应用三种不同提示策略的效果。零样本 (Zero-shot) 和五样本 (five-shot) 方法作为基线,其方法遵循了 23 中的研究方法。
强化 AI 学习

通用型基础模型能否超越专用调整模型?医学领域的案例研究 [译]

宝玉的分享
AI智能体 OpenAI 大模型微调
Hinge创始人筹资1800万美元,推出全新AI语音约会服务Overtone
AIGC 资讯

Hinge创始人筹资1800万美元,推出全新AI语音约会服务Overtone

Prompt 语宙研究院
AI办公效率 AI智能体 AI音频与语音
英伟达创始人兼前CEO黄仁勋在科技峰会舞台演讲与全球科技领袖联名力挺
AIGC 资讯

超11.5万人签名且马斯克带头力挺!全球科技领袖签署请愿书敦促英伟达恢复黄仁勋CEO:97%员工内投反弹、独立调查抗击“暴民正义”与万亿算力风暴深度拆解

Prompt 语宙研究院
AI算力 公司治理 英伟达 马斯克 黄仁勋
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • Remaker AI
  • BGRemaker 抠图Hot
  • AIGC 工具
  • Prompt 咒语生成器
  • 去水印工具

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.