# MoBA – Moonshot AI 提出的新型注意力机制

- Link: https://paooo.com/aigc-news/21753/
- Published: 2026-06-09T03:31:41+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * MoBA 通过块稀疏注意力与无参数 top-k 门控，让长上下文计算更高效。
 * 它可在全注意力与稀疏注意力间无缝切换，兼顾性能与效率。
 * 官方实测显示，1M token 提速 6.5 倍，10M token 提速可达 16 倍。

## MoBA是什么

MoBA（Mixture of Block Attention）是 Moonshot AI 提出的新型注意力机制，提高大型语言
模型（LLMs）处理长上下文任务的效率。通过将上下文划分为多个块（block），引入无参数
的 top-k 门控机制，让每个查询 token 动态选择最相关的键值（KV）块进行注意力计算。
显著降低了计算复杂度，保持了与全注意力机制相当的性能。MoBA 的核心优势在于能无缝切换
全注意力和稀疏注意力模式，同时遵循“少结构”原则，避免引入预定义的偏见，让模型自主
决定关注点。实验表明，MoBA 在处理 100 万 token 的长文本时，速度比传统全注意力机制
快 6.5 倍。MoBA 已经在 [Kimi](https://ai-bot.cn/sites/5355.html) 平台上得到实际验证，
开源了相关代码。

阅读目录

 * [MoBA是什么](https://paooo.com/aigc-news/21753/#moba%e6%98%af%e4%bb%80%e4%b9%88)
 * [MoBA的主要功能](https://paooo.com/aigc-news/21753/#moba%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [MoBA的技术原理](https://paooo.com/aigc-news/21753/#moba%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [MoBA的项目地址](https://paooo.com/aigc-news/21753/#moba%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [MoBA的应用场景](https://paooo.com/aigc-news/21753/#moba%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![MoBA](https://paooo.com/wp-content/uploads/2026/06/MoBA-website-1.avif)

## MoBA的主要功能

 * **块稀疏注意力**：MoBA 将上下文划分为多个块（block），每个查询 token 动态选择
   最相关的键值（KV）块进行注意力计算，实现长序列的高效处理。
 * **无参数门控机制**：通过一种新颖的 top-k 门控机制，MoBA 为每个查询 token 动态
   选择最相关的块，确保模型只关注最有信息量的部分。
 * **全注意力与稀疏注意力的无缝切换**：MoBA 设计为全注意力的灵活替代品，能在全注意力
   和稀疏注意力模式之间无缝切换，提高效率，不影响性能。
 * **高性能实现**：MoBA 结合了 FlashAttention 和 MoE（混合专家模型）的优化技术，
   显著降低了计算复杂度。在处理 1M token 的长文本时，MoBA 的速度比传统全注意力机制
   快 6.5 倍，而在处理 10M token 时，速度提升可达 16 倍。
 * **与现有模型的兼容性**：MoBA 可以轻松集成到现有的 Transformer 模型中，无需进行
   大量训练调整。

## MoBA的技术原理

 * **因果性设计**：为了保持自回归语言模型的因果关系，MoBA 确保查询 token 不能关注
   未来的块，在当前块中应用因果掩码。避免了信息泄露，同时保留了局部上下文信息。
 * **细粒度块划分与扩展性**：MoBA 支持细粒度的块划分，类似于 MoE（混合专家模型）
   中的专家划分策略。这种设计提升了性能，使 MoBA 能扩展到极长的上下文（如 10M token），
   在长上下文任务中表现出色。

## MoBA的项目地址

 * **Github仓库**：[https://github.com/MoonshotAI/MoBA](https://github.com/MoonshotAI/MoBA)
 * **技术论文**：[https://github.com/MoonshotAI/MoBA](https://github.com/MoonshotAI/MoBA/blob/master/MoBA_Tech_Report.pdf)

## MoBA的应用场景

 * **长文本处理**：MoBA 通过将上下文划分为块并动态选择相关块进行注意力计算，降低
   了计算复杂度，能高效处理长文本，如历史数据分析、复杂推理和决策等任务。
 * **长上下文语言模型**：MoBA 已部署支持 Kimi 的长上下文请求处理，显著提升处理效率，
   在处理 1M 甚至 10M token 的超长文本时，速度分别提升 6.5 倍和 16 倍。
 * **多模态任务**：MoBA 的架构可以扩展到多模态任务中，处理和理解多种类型的数据（
   如文本和图像），结合长上下文处理能力，为复杂任务提供支持。
 * **个人助理与智能家居**：在个人助理和智能家居控制中，MoBA 可以高效处理用户的长
   指令，同时通过动态注意力机制快速响应，提升用户体验。
 * **教育与学习**：在教育领域，MoBA 可以帮助学生处理长篇学习资料，辅助完成作业，
   或提供基于长上下文的智能辅导。
 * **复杂推理与决策**：MoBA 的动态注意力机制能高效处理复杂的推理任务，如长链推理（
   CoT）和多步决策，同时保持与全注意力机制相当的性能。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**Kimi ↗**

Kimi：曾经很火的国产AI，面向AI 综合应用场景提供便捷实用的在线功能支持。

❓ 常见问题解答（FAQ）

MoBA 注意力机制适合处理什么场景？

MoBA 主要面向长上下文任务，适合长文本处理、复杂推理、多步决策以及需要高效读取超长
输入的 LLM 场景。它通过块级稀疏注意力降低计算成本，同时尽量保持全注意力的效果。

MoBA 和全注意力相比有什么优势？

MoBA 的核心优势是把上下文切成多个块，并用 top-k 门控只选择最相关的 KV 块参与计算，
因此能显著降低复杂度。文章提到它在 1M token 场景下可比传统全注意力快 6.5 倍。

MoBA 能直接接入现有 Transformer 吗？

可以。文中说明 MoBA 具备较好的兼容性，能够轻松集成到现有 Transformer 模型中，无需
大量训练调整，并且已在 Kimi 平台上得到实际验证。

🔬 语宙深潜追问 · 进阶实操拆解

MoBA的top-k块选择如何避免漏掉关键信息？

要让门控依据查询与块摘要的相关性动态选择，同时保留少量全局保底块。实际部署中可加入
滑窗、热点记忆和任务特定先验，降低误选风险。

百万token场景下该怎么做效果验证？

不能只测速度，要同时测长程依赖召回、跨段一致性和答案稳定性。建议用分层基准：局部
检索、跨章推理和超长摘要三类任务一起评估。

🗳️ 读者观点微投票 · 您的实战立场是？

长上下文提速，MoBA最像哪种取舍？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [DuoAttention – 提高LLMs处理长上下文推理效率的AI框架](https://paooo.com/aigc-news/26103/)
 * [月之暗面开源Kimi Linear架构：6倍解码提速、长文本处理效率革命](https://paooo.com/aigc-news/13150/)
 * [杨植麟在GTC2026 摊牌：月之暗面把Adam、全注意力和残差连接全换了，而且全部开源](https://paooo.com/aigc-news/32091/)
 * [Moonlight-16B-A3B – 月之暗面开源的 MoE 模型](https://paooo.com/aigc-news/21659/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/21753/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
