# 清华×腾讯混元夺MLSys2026 MoE推理挑战赛冠军，NPU推理提速4.1倍突破万亿参数瓶颈

- Link: https://paooo.com/aigc-news/17511/
- Published: 2026-05-25T09:35:50+08:00
- Author: 站外新闻

> **💡 站外导读：**随着万亿参数大模型时代到来，混合专家（MoE）架构在异构芯片（如
> NPU）上的推理性能瓶颈日益凸显，数据搬运不充分、激活反复搬运等底层算子问题严重制约
> 部署效率。国际机器学习系统顶会MLSys2026举办MoE推理优化挑战赛，直指这一行业痛点。
> 清华大学与腾讯混元团队联合攻克，展示了我国在大模型系统适配与算子优化领域的突破。

清华大学存储实验室与腾讯混元AI Infra团队近日联合宣布，在国际机器学习系统顶级会议
MLSys2026举办的MoE模型推理优化挑战赛中荣获全球冠军。

![QQ20260525-090728.jpg](https://paooo.com/wp-content/uploads/2026/05/6391529690786379206709030-
1.avif "QQ20260525-090728.jpg")

面对万亿参数时代，混合专家（MoE）架构在异构芯片（如NPU）上进行推理时，性能常遇到
瓶颈。为此，联合团队专门针对官方指定的模型及NPU硬件，设计了一套全链路的优化方案。
他们引入了“E-Shard”策略，将任务按专家拆分到双核处理；同时结合PSUM三维张量批量读出、
将输出打散至多个Bank并行处理的GEMV路径，并利用标量引擎降低数据搬运的初始延迟。这
一系列“组合拳”有效解决了数据搬运不充分、激活值反复搬运等底层算子的关键难题。

同时，针对注意力模块，团队重构片上数据布局并融合Transformer关键算子，实现了比特级
高精度对齐。

![QQ20260525-090739.jpg](https://paooo.com/wp-content/uploads/2026/05/6391529691551093612066816.
avif "QQ20260525-090739.jpg")

图3展示了该MoE优化结构的整体示意图，其中包含了E-Shard专家切分、连续DMA传输、PSUM
与GEMV的并发执行、冷启动流水线以及预取控制等多个关键模块。

在此次角逐中，团队还联合研发了基于[Agent](https://paooo.com/trends/)的推理算子优
化器“Knight”，通过方案提出、代码落地与复盘迭代的自动化闭环，大幅拓展了优化搜索空间。
最终，该方案将模型端到端推理时间由14.91s缩短至3.56s，性能加速达4.1倍;单步解码延迟
从12.63ms降至5.45ms，权重加载期间的DMA引擎利用率攀升至约80%。

此次击败Stanford、MIT等国际顶尖高校并成功夺冠，不仅体现了我国团队在[大模型](https://paooo.com/ai-study/)
底层系统适配与算子优化方面积累的深厚实力，也为未来在超节点算力平台上部署万亿参数
级别的MoE模型，提供了极具参考价值的工程实践范例。

#### 📝 站长洞察 (Editor’s Insight)

此次夺冠绝非偶然，而是中国在大模型底层系统竞赛中持续发力的缩影。万亿参数MoE模型的
崛起，使推理优化从单纯的算法问题转向全栈系统工程，涉及硬件调度、数据流水、算子融合
等多维度。团队提出的E-Shard策略与PSUM并发方案，体现了对NPU硬件特性的深度挖掘，而
基于Agent的优化器‘Knight’则预示着AI驱动AI优化的自动化趋势。这标志着大模型竞争已从
训练规模延伸至推理效率，未来超节点算力平台的部署将更依赖此类工程范式，推动行业从‘
能用’到‘好用’的关键跨越。

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,000+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[⚡ AIGC 早报生成器](https://paooo.com/mtool/)