Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: MoBA – Moonshot AI 提出的新型注意力机制
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
MoBA – Moonshot AI 提出的新型注意力机制
Prompt 语宙 > AIGC 资讯 > MoBA – Moonshot AI 提出的新型注意力机制
AIGC 资讯

MoBA – Moonshot AI 提出的新型注意力机制

Prompt 语宙研究院
最近更新: 2026年6月9日 上午3:31
AI智能体 AI编程 Kimi 大模型微调 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • MoBA 通过块稀疏注意力与无参数 top-k 门控,让长上下文计算更高效。
  • 它可在全注意力与稀疏注意力间无缝切换,兼顾性能与效率。
  • 官方实测显示,1M token 提速 6.5 倍,10M token 提速可达 16 倍。

MoBA是什么

MoBA(Mixture of Block Attention)是 Moonshot AI 提出的新型注意力机制,提高大型语言模型(LLMs)处理长上下文任务的效率。通过将上下文划分为多个块(block),引入无参数的 top-k 门控机制,让每个查询 token 动态选择最相关的键值(KV)块进行注意力计算。显著降低了计算复杂度,保持了与全注意力机制相当的性能。MoBA 的核心优势在于能无缝切换全注意力和稀疏注意力模式,同时遵循“少结构”原则,避免引入预定义的偏见,让模型自主决定关注点。实验表明,MoBA 在处理 100 万 token 的长文本时,速度比传统全注意力机制快 6.5 倍。MoBA 已经在 Kimi 平台上得到实际验证,开源了相关代码。

阅读目录
  • MoBA是什么
  • MoBA的主要功能
  • MoBA的技术原理
  • MoBA的项目地址
  • MoBA的应用场景

MoBA

MoBA的主要功能

  • 块稀疏注意力:MoBA 将上下文划分为多个块(block),每个查询 token 动态选择最相关的键值(KV)块进行注意力计算,实现长序列的高效处理。
  • 无参数门控机制:通过一种新颖的 top-k 门控机制,MoBA 为每个查询 token 动态选择最相关的块,确保模型只关注最有信息量的部分。
  • 全注意力与稀疏注意力的无缝切换:MoBA 设计为全注意力的灵活替代品,能在全注意力和稀疏注意力模式之间无缝切换,提高效率,不影响性能。
  • 高性能实现:MoBA 结合了 FlashAttention 和 MoE(混合专家模型)的优化技术,显著降低了计算复杂度。在处理 1M token 的长文本时,MoBA 的速度比传统全注意力机制快 6.5 倍,而在处理 10M token 时,速度提升可达 16 倍。
  • 与现有模型的兼容性:MoBA 可以轻松集成到现有的 Transformer 模型中,无需进行大量训练调整。

MoBA的技术原理

  • 因果性设计:为了保持自回归语言模型的因果关系,MoBA 确保查询 token 不能关注未来的块,在当前块中应用因果掩码。避免了信息泄露,同时保留了局部上下文信息。
  • 细粒度块划分与扩展性:MoBA 支持细粒度的块划分,类似于 MoE(混合专家模型)中的专家划分策略。这种设计提升了性能,使 MoBA 能扩展到极长的上下文(如 10M token),在长上下文任务中表现出色。

MoBA的项目地址

  • Github仓库:https://github.com/MoonshotAI/MoBA
  • 技术论文:https://github.com/MoonshotAI/MoBA

MoBA的应用场景

  • 长文本处理:MoBA 通过将上下文划分为块并动态选择相关块进行注意力计算,降低了计算复杂度,能高效处理长文本,如历史数据分析、复杂推理和决策等任务。
  • 长上下文语言模型:MoBA 已部署支持 Kimi 的长上下文请求处理,显著提升处理效率,在处理 1M 甚至 10M token 的超长文本时,速度分别提升 6.5 倍和 16 倍。
  • 多模态任务:MoBA 的架构可以扩展到多模态任务中,处理和理解多种类型的数据(如文本和图像),结合长上下文处理能力,为复杂任务提供支持。
  • 个人助理与智能家居:在个人助理和智能家居控制中,MoBA 可以高效处理用户的长指令,同时通过动态注意力机制快速响应,提升用户体验。
  • 教育与学习:在教育领域,MoBA 可以帮助学生处理长篇学习资料,辅助完成作业,或提供基于长上下文的智能辅导。
  • 复杂推理与决策:MoBA 的动态注意力机制能高效处理复杂的推理任务,如长链推理(CoT)和多步决策,同时保持与全注意力机制相当的性能。
🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
Kimi ↗
Kimi:曾经很火的国产AI,面向AI 综合应用场景提供便捷实用的在线功能支持。
❓ 常见问题解答(FAQ)
MoBA 注意力机制适合处理什么场景?

MoBA 主要面向长上下文任务,适合长文本处理、复杂推理、多步决策以及需要高效读取超长输入的 LLM 场景。它通过块级稀疏注意力降低计算成本,同时尽量保持全注意力的效果。

MoBA 和全注意力相比有什么优势?

MoBA 的核心优势是把上下文切成多个块,并用 top-k 门控只选择最相关的 KV 块参与计算,因此能显著降低复杂度。文章提到它在 1M token 场景下可比传统全注意力快 6.5 倍。

MoBA 能直接接入现有 Transformer 吗?

可以。文中说明 MoBA 具备较好的兼容性,能够轻松集成到现有 Transformer 模型中,无需大量训练调整,并且已在 Kimi 平台上得到实际验证。

🔬 语宙深潜追问 · 进阶实操拆解
MoBA的top-k块选择如何避免漏掉关键信息?

要让门控依据查询与块摘要的相关性动态选择,同时保留少量全局保底块。实际部署中可加入滑窗、热点记忆和任务特定先验,降低误选风险。

百万token场景下该怎么做效果验证?

不能只测速度,要同时测长程依赖召回、跨段一致性和答案稳定性。建议用分层基准:局部检索、跨章推理和超长摘要三类任务一起评估。

🗳️ 读者观点微投票 · 您的实战立场是?
长上下文提速,MoBA最像哪种取舍?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🐋 所属权威专题:DeepSeek 深度实战与部署 →
  • DuoAttention – 提高LLMs处理长上下文推理效率的AI框架
  • 月之暗面开源Kimi Linear架构:6倍解码提速、长文本处理效率革命
  • 杨植麟在GTC2026 摊牌:月之暗面把Adam、全注意力和残差连接全换了,而且全部开源
  • Moonlight-16B-A3B – 月之暗面开源的 MoE 模型
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
未来属于 Rust —— LLM 使编程语言学习曲线变平 [译]
PuLID – 字节跳动开源的个性化文本到图像生成框架
Happy开源AI编程神器:手机远程监控Claude Code,实时掌控开发任务进度
Ubie AI 医疗
[AI生图咒语] 韩国偶像天台怀旧写真摄影
TAGGED:AI智能体AI编程Kimi大模型微调开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 BGE-VL – 智源研究院联合多所高校开源的多模态向量模型 BGE-VL – 智源研究院联合多所高校开源的多模态向量模型
下一篇 ENEL – 上海 AI Lab 推出的无编码器3D大型多模态模型 ENEL – 上海 AI Lab 推出的无编码器3D大型多模态模型
Ad image
Ad image

最近更新

花旗银行、摩根大通与美国银行等多家大型商业银行收紧服务条款,明确用户授权第三方 AI 智能体受损需自行担责
哪怕被黑客盗刷也不赔!花旗、摩根大通与美银等五大银行集体改写条款:使用第三方AI智能体风险由客户全权自担,生态入口博弈全面打响
AIGC 资讯
LangSmith for Coding Agents 代码智能体按 PR 结果核算成本与 ROI 官方封面图
340亿美元编码AI开销如何算清账?LangSmith上线代码智能体ROI追踪:按PR结果归因成本、五大工具全统一与线程上下文通胀治理指南
最新趋势
Axiom Math 利用 AI 多智能体集群完成 1.5 万页有限单群分类定理(CFSG)与 7500 页 Stacks 项目数学形式化验证的可视化点阵图
4300万行代码堪比Linux内核!Axiom Math用AI智能体攻克1.5万页“庞大定理”与Stacks项目形式化验证:百个里程碑与分层多智能体架构全拆解
最新趋势
印度具身智能数据初创公司 Humyn Labs 联合创始人 Ishank Gupta(左)与 Manish Agarwal(右)
半年营收破千万且90%来自美国!印度物理AI数据创企Humyn Labs获4700万美元A轮:双摄硬件、2100万债权垫资与20国采集网全拆解
AIGC 资讯

相关推荐

LogoStoreAI
AI 工具

LogoStoreAI

remaker
AI办公效率 AI绘画提示词 开源大模型
Seed Prover 1.5:字节跳动AI数学推理新突破,IMO金牌水平背后的核心技术解析
AI 工具AIGC 资讯

Seed Prover 1.5:字节跳动AI数学推理新突破,IMO金牌水平背后的核心技术解析

Prompt 语宙研究院
Agentic RL Seed Prover 1.5 字节跳动 形式化证明 数学推理模型
​Meta 发布新旗舰模型 Muse Spark 1.1,升级多代理自动化功能
AIGC 资讯

​Meta 发布新旗舰模型 Muse Spark 1.1,升级多代理自动化功能

Prompt 语宙研究院
AI办公效率 AI智能体 AI编程 大模型微调 开源大模型
OpenSPG – 蚂蚁联合OpenKG开源的知识图谱引擎
AIGC 资讯

OpenSPG – 蚂蚁联合OpenKG开源的知识图谱引擎

Prompt 语宙研究院
AI智能体 RAG检索增强 开源大模型
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.