---
title: "清华×腾讯混元夺MLSys2026 MoE推理挑战赛冠军，NPU推理提速4.1倍突破万亿参数瓶颈"
url: "https://paooo.com/aigc-news/17511/"
author: "Prompt 语宙研究院"
published_at: "2026-05-25T09:35:50+08:00"
updated_at: "2026-05-25T09:35:50+08:00"
categories: "AIGC 资讯"
tags: "MLSys2026, MoE模型, NPU推理, 清华大学, 腾讯混元"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# 清华×腾讯混元夺MLSys2026 MoE推理挑战赛冠军，NPU推理提速4.1倍突破万亿参数瓶颈

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/17511/) · 作者：Prompt 语宙研究院 · 发布时间：2026-05-25

## AI 30 秒核心看点 (TL;DR)

- 清华×腾讯混元在MLSys2026 MoE推理挑战赛夺冠，直击NPU推理瓶颈。
- E-Shard、PSUM并发、GEMV路径与注意力融合，系统性提升数据搬运效率。
- Knight智能体优化器闭环迭代，端到端推理提速4.1倍，验证工程落地价值。

> 
                **💡 站外导读：**随着万亿参数大模型时代到来，混合专家（MoE）架构在异构芯片（如NPU）上的推理性能瓶颈日益凸显，数据搬运不充分、激活反复搬运等底层算子问题严重制约部署效率。国际机器学习系统顶会MLSys2026举办MoE推理优化挑战赛，直指这一行业痛点。清华大学与腾讯混元团队联合攻克，展示了我国在大模型系统适配与算子优化领域的突破。

            

            清华大学存储实验室与腾讯混元AI Infra团队近日联合宣布，在国际机器学习系统顶级会议MLSys2026举办的MoE模型推理优化挑战赛中荣获全球冠军。

面对万亿参数时代，混合专家（MoE）架构在异构芯片（如NPU）上进行推理时，性能常遇到瓶颈。为此，联合团队专门针对官方指定的模型及NPU硬件，设计了一套全链路的优化方案。他们引入了“E-Shard”策略，将任务按专家拆分到双核处理；同时结合PSUM三维张量批量读出、将输出打散至多个Bank并行处理的GEMV路径，并利用标量引擎降低数据搬运的初始延迟。这一系列“组合拳”有效解决了数据搬运不充分、激活值反复搬运等底层算子的关键难题。

同时，针对注意力模块，团队重构片上数据布局并融合Transformer关键算子，实现了比特级高精度对齐。

图3展示了该MoE优化结构的整体示意图，其中包含了E-Shard专家切分、连续DMA传输、PSUM与GEMV的并发执行、冷启动流水线以及预取控制等多个关键模块。

在此次角逐中，团队还联合研发了基于Agent的推理算子优化器“Knight”，通过方案提出、代码落地与复盘迭代的自动化闭环，大幅拓展了优化搜索空间。最终，该方案将模型端到端推理时间由14.91s缩短至3.56s，性能加速达4.1倍;单步解码延迟从12.63ms降至5.45ms，权重加载期间的DMA引擎利用率攀升至约80%。

此次击败Stanford、MIT等国际顶尖高校并成功夺冠，不仅体现了我国团队在大模型底层系统适配与算子优化方面积累的深厚实力，也为未来在超节点算力平台上部署万亿参数级别的MoE模型，提供了极具参考价值的工程实践范例。

            
                

#### 📝 站长洞察 (Editor's Insight)

                此次夺冠绝非偶然，而是中国在大模型底层系统竞赛中持续发力的缩影。万亿参数MoE模型的崛起，使推理优化从单纯的算法问题转向全栈系统工程，涉及硬件调度、数据流水、算子融合等多维度。团队提出的E-Shard策略与PSUM并发方案，体现了对NPU硬件特性的深度挖掘，而基于Agent的优化器‘Knight’则预示着AI驱动AI优化的自动化趋势。这标志着大模型竞争已从训练规模延伸至推理效率，未来超节点算力平台的部署将更依赖此类工程范式，推动行业从‘能用’到‘好用’的关键跨越。

## 常见问题解答 (FAQ)

### MoE模型在NPU上为什么推理慢？
主要瓶颈在数据搬运与算子执行效率：专家激活值、权重和中间结果反复搬运，容易造成带宽浪费和延迟堆积。本文方案通过E-Shard、PSUM并发和数据布局重构，针对性缓解这些问题。

### 清华×腾讯混元用了哪些优化方法？
团队围绕官方指定模型和NPU硬件做全链路优化，包括E-Shard专家切分、PSUM三维张量批量读出、GEMV输出打散到多Bank并行处理，以及重构注意力模块的数据布局与算子融合。

### 这次冠军方案的实测效果如何？
方案将模型端到端推理时间从14.91秒降至3.56秒，整体加速4.1倍；单步解码延迟从12.63毫秒降至5.45毫秒，权重加载期间DMA引擎利用率提升到约80%。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
