# UltraMem – 字节豆包大模型团队推出的全新超稀疏模型架构

- Link: https://paooo.com/aigc-news/22271/
- Published: 2026-06-08T16:53:21+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 通过拆分多层内存结构并加入 skip-layer，UltraMem 显著降低推理访存开销。
 * TDQKR 与 IVE 两项设计提升 value 检索精度，并减少显存与部署成本。
 * 实测相较 MoE，UltraMem 推理提速 2-6 倍，成本最高可降 83%。

## UltraMem是什么

UltraMem 是字节跳动[豆包大模型](https://ai-bot.cn/sites/22232.html)团队提出的全新
超稀疏模型架构，解决传统 MoE 架构在推理时的高额访存问题。架构通过优化内存访问和计算
效率，显著降低推理成本，推理速度较 MoE 提升了2-6倍，成本最高可降低83%。UltraMem 
的核心技术包括：多层结构改进，将大型内存层拆分为多个小内存层，分布在 Transformer
层中，增加 skip-layer 操作，实现并行计算；优化 value 检索方式，采用 Tucker 分解查询
键检索（TDQKR），提高检索精度；以及隐式扩展稀疏参数（IVE），通过虚拟内存和物理内存
的概念，减少显存和部署成本。实验表明，UltraMem 在不同规模的激活参数下均展现出显著
的性能优势，随着稀疏参数增加，扩展能力优于 MoE。

阅读目录

 * [UltraMem是什么](https://paooo.com/aigc-news/22271/#ultramem%e6%98%af%e4%bb%80%e4%b9%88)
 * [UltraMem的主要功能](https://paooo.com/aigc-news/22271/#ultramem%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [UltraMem的技术原理](https://paooo.com/aigc-news/22271/#ultramem%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [UltraMem的项目地址](https://paooo.com/aigc-news/22271/#ultramem%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [UltraMem的应用场景](https://paooo.com/aigc-news/22271/#ultramem%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![UltraMem](https://paooo.com/wp-content/uploads/2026/06/UltraMem-website-1.avif)

## UltraMem的主要功能

 * **降低推理成本**：UltraMem 通过优化内存访问机制，显著降低了推理时的访存需求，
   使推理成本最高可降低83%。
 * **提升推理速度**：相比传统的 MoE 架构，UltraMem 的推理速度提升了2-6倍，在常见
   batch size 规模下，访存成本几乎与同计算量的 Dense 模型相当。
 * **优化内存管理**：UltraMem 通过稀疏计算和选择性参数激活策略，减少了推理过程中
   对内存的依赖，有效避免了内存瓶颈。
 * **支持大规模模型**：该架构为构建数十亿规模的 value 或 expert 模型开辟了新路径，
   具备优异的扩展特性。
 * **保持模型性能**：在参数和激活条件相同的情况下，UltraMem 显著降低了推理成本，
   在模型效果上超越了 MoE。

## UltraMem的技术原理

 * **稀疏计算与参数解耦**：UltraMem 通过稀疏计算的方式，将计算和参数解耦。仅激活
   与当前任务最相关的部分参数，不是像传统 MoE 那样在推理时激活所有专家，显著降低
   了内存访问需求。
 * **优化的内存访问机制**：UltraMem 引入了大规模超稀疏内存层，通过选择性激活少量
   参数，避免了推理时的内存瓶颈。这种机制使在常见 batch size 下，UltraMem 的访存
   成本几乎与同计算量的 Dense 模型相当。
 * **并行计算机制**：UltraMem 通过优化计算图和采用先进的算法，使多个推理任务可以
   同时进行。并行计算机制提高了资源利用率，进一步加快了推理速度。
 * **Tucker 分解查询键检索（TDQKR）**：UltraMem 采用更复杂的乘法方法——Tucker 分解
   查询键检索（TDQKR），用于优化 value 的检索过程。方法通过分解查询和键的交互，提高
   了检索精度和效率。
 * **隐式扩展稀疏参数（IVE）**：UltraMem 提出了隐式扩展稀疏参数（IVE）技术，通过
   虚拟内存和物理内存的概念，隐式地扩展稀疏参数。在不增加显存负担的情况下，提升了
   模型的性能和扩展能力。
 * **多层结构设计**：UltraMem 将大型内存层拆分为多个小内存层，以固定间隔分布在 Transformer
   层中。使模型可以并行执行内存层的访存操作和 Transformer 层的计算，提高了整体效率。

## UltraMem的项目地址

 * **arXiv技术论文**：[https://arxiv.org/pdf/2411.12364](https://arxiv.org/pdf/2411.12364)

## UltraMem的应用场景

 * **实时推理场景**：UltraMem 适用于对延迟要求较高的推理场景，例如代码补全和智能
   客服。在这些场景中，模型需要快速响应用户请求，UltraMem 的低延迟特性能够显著提升
   用户体验。
 * **大规模模型部署**：UltraMem 的高效推理能力和低访存成本成为部署大规模语言模型（
   LLM）的理想选择。在构建数十亿规模的 value 或 expert 模型时，UltraMem 能在有限
   的计算资源下实现高性能。
 * **金融领域**：在金融领域，UltraMem 可以用于信贷资产管理和风险预测。通过更精准
   地识别客户意图和风险特征，UltraMem 能帮助金融机构实现业务降本增效。
 * **能源行业**：在能源领域，UltraMem 可以应用于设备运检、电力营销客服和新能源功率
   预测。通过高效的数据处理和推理能力，UltraMem 能优化资源配置，提升能源效率。
 * **工业自动化**：在工业自动化中，UltraMem 可用于设备故障预测和生产流程优化。其
   高效的推理能力能快速分析大量工业数据，实现智能化的生产管理。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**豆包大模型 ↗**

字节跳动推出的AI大模型家族，包括视频生成、语音视觉、通用语言模型等。

**豆包 ↗**

豆包是一款多功能AI助手，提供智能对话、文案创作及编程辅助服务。

❓ 常见问题解答（FAQ）

UltraMem 和 MoE 的主要区别是什么？

UltraMem 重点解决 MoE 推理时的高额访存问题。它通过超稀疏内存层、skip-layer、TDQKR
和 IVE 等设计，减少内存访问并提升并行效率，因此在推理速度和成本上优于传统 MoE。

UltraMem 为什么能降低推理成本？

因为它不是在推理时激活大量专家，而是只激活与任务相关的少量参数，并将大型内存层拆
分到 Transformer 层中并行执行，从而显著减少访存压力，最高可将成本降低 83%。

UltraMem 适合哪些应用场景？

它适合低延迟、高并发的实时推理场景，如代码补全、智能客服，也适合大规模模型部署，
以及金融、能源、工业自动化等需要高效推理和资源优化的行业场景。

🔬 语宙深潜追问 · 进阶实操拆解

UltraMem相比MoE最大的工程收益是什么？

最大的收益是降低访存压力和路由开销，让推理链路更短、更稳定。对线上服务来说，这通常
意味着更高吞吐、更低延迟和更好的成本可预测性，尤其适合高并发场景。

超稀疏模型适合哪些部署策略？

适合把高频请求放在超稀疏模型上做主力承载，再用更[大模型](https://paooo.com/ai-study/)
处理复杂长尾任务。落地时建议先做A/B测试，重点看吞吐、尾延迟、显存占用和单位请求成本，
而不是只看基准分数。

🗳️ 读者观点微投票 · 您的实战立场是？

超稀疏架构能终结MoE推理贵的问题吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🏮 所属权威专题：国产大模型选型与资费对比 →](https://paooo.com/topics/domestic-llm-ecosystem/)

 * [美团开源LongCat-Flash-Lite：685亿参数MoE大模型，仅激活30亿参数实现256K超长上下文推理](https://paooo.com/aigc-news/11782/)
 * [Seed-Thinking-v1.5 – 字节跳动推出的最新思考模型](https://paooo.com/aigc-news/20381/)
 * [Memory Layers – Meta 开源不增加算力时增加大模型的参数方法](https://paooo.com/aigc-news/23436/)
 * [XVERSE-MoE-A36B – 元象开源的国内最大MoE模型，推理性能提升100%](https://paooo.com/aigc-news/26904/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/22271/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
