# 杨植麟在GTC2026 摊牌：月之暗面把Adam、全注意力和残差连接全换了，而且全部开源

- Link: https://paooo.com/aigc-news/32091/
- Published: 2026-07-20T10:09:46+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * MuonClip替代Adam后，训练数据利用率显著提升，同样数据量效果接近翻倍。
 * Kimi Linear以KDA线性注意力降低长上下文成本，并在多类任务上超越全注意力。
 * [Agent](https://paooo.com/trends/) Swarm把任务拆成并行子Agent协作，K2.6已支持
   300个Agent并行。

[大模型](https://paooo.com/ai-study/)训练的地基，正在被一家中国公司悄悄撬动。在GTC2026
的演讲How We Scaled Kimi K2.5中，月之暗面CEO杨植麟没有只讲K2.5这一个产品，而是把
过去一年多公司想清楚的一件事摊开了:当开源模型要逼近闭源前沿，除了继续堆参数和算力，
还有另一条路——把Transformer时代沿用了近十年的三个基础组件，各自重新做一遍。优化器
Adam（2014年提出）、注意力机制(2017年)、残差连接(2015年)，月之暗面给这三个地基组
件各递上了一个替代方案，而且全部开源。

![QQ20260720-095005.png](https://paooo.com/wp-content/uploads/2026/07/6392013793115053676277081-
1.avif "QQ20260720-095005.png")

杨植麟把整条技术路线拆成三个方向:让每个Token更值钱、让更长的上下文真正有用、让多个
Agent同时协作。除此之外，他还抛出了两个重要进展:视觉训练如何反哺文本能力，以及月
之暗面刚公布的下一代架构Attention Residue。

先说最现实的一道墙:高质量数据快不够用了。互联网上有价值的文本本就有限，模型越做越
大、要的数据越来越多，大家迟早撞上数据墙。既然数据很难翻倍，月之暗面的思路是让模型
从同样的数据里学到更多，给出的答案是MuonClip，用来替代已经用了十多年的Adam优化器。
它基于Muon优化器，在更新参数时尽量让不同方向的信息保持独立，减少重复和浪费，从而
提高训练数据的利用效率。实验结果是:用同样数量的数据，MuonClip的训练效果接近把数据
量增加一倍，既压低了训练成本，也推高了模型能力上限。杨植麟打了个比方:手里若有50万
亿个高质量Token，效率提高一倍，就等于又多出50万亿Token，在优质数据越来越稀缺的当下，
这种效率提升比单纯加算力更关键。

不过Muon有个麻烦:模型扩展到万亿参数后，注意力层里的数值容易失控，最大logit会突然
飙升到1000以上，而正常范围通常只有50到100，数值继续膨胀训练曲线就会发散、整个训练
可能直接崩掉。月之暗面为此设计了QK-Clip，在模型前向计算时实时检查每个注意力头的最大
logit，一旦超过安全范围就同步缩放Q和K的投影把数值压回来，它不改变收敛效果，只负责
维持数值稳定。靠着QK-Clip，Muon被成功扩展到万亿参数规模，训练了超过15万亿Token，
整个过程没出现过一次loss spike。

第二个方向是让长上下文真正发挥作用。杨植麟引用了Scaling Law论文作者Jared Kaplan等
人的实验:LSTM读到一定长度后效果就难再提升，而Transformer上下文越长、预测通常越准，
且难见明显饱和点。这个特性在Agent时代尤为要紧——复杂任务可能持续几天甚至几周，模型
得记住之前做了什么、得到过哪些结果、哪些方向已经失败，长上下文若不能持续提供有效
信息，任务链条很容易断掉。麻烦在于标准全注意力的计算量随上下文长度平方增长，扩大
十倍计算量可能增加一百倍，到百万Token级别训练和推理成本都高得吓人。月之暗面的解法
是Kimi Linear，核心是名为KDA（Kimi Delta Attention）的线性注意力机制，它让模型学会
哪些信息长期保留、哪些快速忘掉。传统线性注意力只有一个全局衰减系数，像所有内容共用
同一个遗忘按钮;KDA把一个衰减系数拆成多个，不同信息通道可用不同遗忘速度，慢衰减的
通道保留长距离信息，快衰减的通道及时腾出空间吸收新内容。实际使用中，Kimi Linear按
3比1的比例把线性注意力层和全注意力层混合，杨植麟称这是第一个在短上下文、长输入和
长输出任务上都能全面超过全注意力的架构，上下文扩展到百万Token甚至更长时，效率优势
更明显。

第三个方向是从一个Agent变成一支Agent团队，月之暗面称之为Agent Swarm。它的组织方式
像一家公司:一个主Agent充当CEO，负责理解目标、拆解任务并分配给多个子Agent，子Agent
可以分别扮演研究员、程序员、数据分析师和事实核查员，完成后由主Agent汇总。最大价值
是把串行任务改成并行，过去一个Agent要依次搜索、阅读、分析、编码、核查，现在几十甚至
几百个Agent可以同时开工。训练这种协作并不容易，月之暗面设计了三种奖励:实例化奖励
鼓励主Agent创建更多可并行子任务、避免退化回串行;完成奖励要求子任务真正做完、防止
为刷奖励批量开空任务;最终结果奖励判断任务是否真正解决。三种奖励的权重随训练动态变化，
前期重任务拆解与并行化，后期转向最终结果。从演示看，Agent Swarm能同时下载阅读几百
个信息源完成研究、并行撰写上百页文献综述的不同章节、同时分析十个数据集。Kimi K2.5
发布时它已支持最多100个Agent并行、任务最多执行1500个步骤，而今年4月发布的K2.6把并行
上限提高到了300个。

一个意外收获出现在视觉与文本的融合上。K2.5与前代K2的关键区别是改用早期融合训练:过去
很多开源多模态模型走后期融合，先用约20万亿文本Token训出语言模型，再用约2万亿多模
态Token把视觉能力贴上去;K2.5则从训练一开始就把视觉和文本数据混在一起，在K2文本基座
上又训练了约15万亿混合Token。这带来了两个让杨植麟兴奋的结果。其一是只训练视觉任务
也能提升文本推理:研究团队只让模型数数、识图、做视觉问答，没加数学或编程训练，文本
推理能力却也变强了，换言之模型在练看的同时，想的能力也提升了。其二是反向的，如果
文本基座足够强，模型甚至不一定需要专门的视觉SFT数据——K2.5采用零视觉SFT方案，所有
监督微调数据都是纯文本，再通过文本与视觉联合的强化学习获得视觉能力，最终在视觉任务
上仍接近最先进水平。杨植麟认为，这种双向迁移来自早期融合:当文本和视觉进入同一表征
空间，一种模态学到的能力才有机会迁移到另一种，这也是K2.5能看图写代码的根基。

演讲末尾，杨植麟介绍了月之暗面刚发布的新研究Attention Residue（注意力残差），论文
发表于3月15日，距离演讲仅两天。残差连接是2015年由何恺明等人提出的深度网络基础技术，
如今是Transformer的标准组件，它让每一层既处理上层结果、又保留一条直接传递信息的通道，
使深层模型能稳定训练。杨植麟援引Ilya Sutskever的说法，把残差连接理解为旋转了90度
的LSTM——LSTM在时间维度上传信息，残差连接在深度维度上传信息。既然Transformer已经用
注意力替代了LSTM在时间维度上的循环，那么深度维度是否也能同样替换?Attention Residue
就是这个思路的产物:标准残差主要用上一层输出，而它允许当前层查看所有前序层输出，再
通过注意力决定哪些历史信息保留、哪些忽略，让模型从被动接收上层结果，变成主动从整个
计算历史中挑选信息。为控成本，实际采用分块版Block Attention Residual，每16层组成
一个块，块内仍是标准残差，块间才用注意力残差，实验显示约8个块就能拿到大部分收益。
它带来了约24%的Token效率提升，按杨植麟的算法，50万亿Token效率提高24%等于额外增加
12万亿Token，在GPQA、MATH、HumanEval等推理、数学与编程测试上提升尤其明显。

把三件套摆在一起看，月之暗面的替代清单清晰得近乎挑衅:Adam换成MuonClip、全注意力换
成Kimi Linear、残差连接换成Attention Residue，分别对应怎么从有限数据学更多、怎么
更高效用超长上下文、怎么让深层网络更灵活传信息。三者都能相对独立地替换现有组件，
且都已开源。这些技术能否直接叠加、增益能否简单相乘，目前还没经过完整验证，但它们
至少说明了一件事:很多被认为已经足够好的基础组件，可能远没有到达终点。在优质数据越来越
少、训练成本越来越高的当下，重新设计优化器、注意力机制和残差连接，同样可能带来可观
的提升。这也正是杨植麟整场演讲想表达的核心——开源模型不能只是开放，还必须足够强。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**Kimi ↗**

Kimi：曾经很火的国产AI，面向AI 综合应用场景提供便捷实用的在线功能支持。

❓ 常见问题解答（FAQ）

MuonClip为什么能替代Adam？

MuonClip基于Muon优化器，强调让不同方向的信息尽量独立，减少更新中的重复与浪费，从而
提高训练数据利用率。文中实验显示，用同样数据训练，效果接近把数据量增加一倍。

Kimi Linear解决了什么问题？

它主要解决长上下文计算成本过高的问题。KDA线性注意力把不同信息通道的遗忘速度拆开，
配合线性与全注意力混合，在短上下文、长输入和长输出任务上都更具效率。

Agent Swarm适合哪些场景？

适合需要并行搜索、阅读、分析、编码和核查的复杂任务，比如研究、长文综述和多数据集
分析。它通过主Agent分配多个子Agent并行执行，提升复杂任务处理效率。

🔬 语宙深潜追问 · 进阶实操拆解

MuonClip替代Adam的收益在哪？

核心收益是提升数据效率和训练稳定性，尤其在大模型高成本训练中更有吸引力。若能在相同
算力下获得更好的收敛和更少的调参成本，就能直接降低训练门槛并提升迭代速度。

Agent Swarm适合哪些真实任务？

适合需要并行分工的复杂任务，比如调研、代码审查、长文写作和多步骤规划。关键是把任务
拆成可验证子目标，并设计统一的结果汇总与冲突消解机制，否则“多智能体”只会变成多轮
噪音。

🗳️ 读者观点微投票 · 您的实战立场是？

Kimi新路线，最值得押注的是哪一条？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [Kimi K3 – 月之暗面开源的最新最强 AI 大模型](https://paooo.com/aigc-news/31279/)
 * [月之暗面开源Kimi Linear架构：6倍解码提速、长文本处理效率革命](https://paooo.com/aigc-news/13150/)
 * [月之暗面Kimi K2模型开源：万亿参数MoE架构，代码与Agent能力超越主流开源模型](https://paooo.com/aigc-news/14483/)
 * [Kimi-Dev 72B 开源代码模型登顶SWE-bench！月之暗面发布，超越DeepSeek-R1，编程能力堪比闭源模型](https://paooo.com/aigc-news/14906/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/32091/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
