---
title: "UltraMem – 字节豆包大模型团队推出的全新超稀疏模型架构"
url: "https://paooo.com/aigc-news/22271/"
author: "Prompt 语宙研究院"
published_at: "2026-06-08T16:53:21+08:00"
updated_at: "2026-06-08T16:53:21+08:00"
categories: "AIGC 资讯"
tags: "AI智能体, 开源大模型, 豆包, 豆包大模型"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# UltraMem – 字节豆包大模型团队推出的全新超稀疏模型架构

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/22271/) · 作者：Prompt 语宙研究院 · 发布时间：2026-06-08

## AI 30 秒核心看点 (TL;DR)

- 通过拆分多层内存结构并加入 skip-layer，UltraMem 显著降低推理访存开销。
- TDQKR 与 IVE 两项设计提升 value 检索精度，并减少显存与部署成本。
- 实测相较 MoE，UltraMem 推理提速 2-6 倍，成本最高可降 83%。

## UltraMem是什么

UltraMem 是字节跳动[豆包大模型](https://ai-bot.cn/sites/22232.html)团队提出的全新超稀疏模型架构，解决传统 MoE 架构在推理时的高额访存问题。架构通过优化内存访问和计算效率，显著降低推理成本，推理速度较 MoE 提升了2-6倍，成本最高可降低83%。UltraMem 的核心技术包括：多层结构改进，将大型内存层拆分为多个小内存层，分布在 Transformer 层中，增加 skip-layer 操作，实现并行计算；优化 value 检索方式，采用 Tucker 分解查询键检索（TDQKR），提高检索精度；以及隐式扩展稀疏参数（IVE），通过虚拟内存和物理内存的概念，减少显存和部署成本。实验表明，UltraMem 在不同规模的激活参数下均展现出显著的性能优势，随着稀疏参数增加，扩展能力优于 MoE。

## UltraMem的主要功能

- **降低推理成本**：UltraMem 通过优化内存访问机制，显著降低了推理时的访存需求，使推理成本最高可降低83%。

- **提升推理速度**：相比传统的 MoE 架构，UltraMem 的推理速度提升了2-6倍，在常见 batch size 规模下，访存成本几乎与同计算量的 Dense 模型相当。

- **优化内存管理**：UltraMem 通过稀疏计算和选择性参数激活策略，减少了推理过程中对内存的依赖，有效避免了内存瓶颈。

- **支持大规模模型**：该架构为构建数十亿规模的 value 或 expert 模型开辟了新路径，具备优异的扩展特性。

- **保持模型性能**：在参数和激活条件相同的情况下，UltraMem 显著降低了推理成本，在模型效果上超越了 MoE。

## UltraMem的技术原理

- **稀疏计算与参数解耦**：UltraMem 通过稀疏计算的方式，将计算和参数解耦。仅激活与当前任务最相关的部分参数，不是像传统 MoE 那样在推理时激活所有专家，显著降低了内存访问需求。

- **优化的内存访问机制**：UltraMem 引入了大规模超稀疏内存层，通过选择性激活少量参数，避免了推理时的内存瓶颈。这种机制使在常见 batch size 下，UltraMem 的访存成本几乎与同计算量的 Dense 模型相当。

- **并行计算机制**：UltraMem 通过优化计算图和采用先进的算法，使多个推理任务可以同时进行。并行计算机制提高了资源利用率，进一步加快了推理速度。

- **Tucker 分解查询键检索（TDQKR）**：UltraMem 采用更复杂的乘法方法——Tucker 分解查询键检索（TDQKR），用于优化 value 的检索过程。方法通过分解查询和键的交互，提高了检索精度和效率。

- **隐式扩展稀疏参数（IVE）**：UltraMem 提出了隐式扩展稀疏参数（IVE）技术，通过虚拟内存和物理内存的概念，隐式地扩展稀疏参数。在不增加显存负担的情况下，提升了模型的性能和扩展能力。

- **多层结构设计**：UltraMem 将大型内存层拆分为多个小内存层，以固定间隔分布在 Transformer 层中。使模型可以并行执行内存层的访存操作和 Transformer 层的计算，提高了整体效率。

## UltraMem的项目地址

- **arXiv技术论文**：[https://arxiv.org/pdf/2411.12364](https://arxiv.org/pdf/2411.12364)

## UltraMem的应用场景

- **实时推理场景**：UltraMem 适用于对延迟要求较高的推理场景，例如代码补全和智能客服。在这些场景中，模型需要快速响应用户请求，UltraMem 的低延迟特性能够显著提升用户体验。

- **大规模模型部署**：UltraMem 的高效推理能力和低访存成本成为部署大规模语言模型（LLM）的理想选择。在构建数十亿规模的 value 或 expert 模型时，UltraMem 能在有限的计算资源下实现高性能。

- **金融领域**：在金融领域，UltraMem 可以用于信贷资产管理和风险预测。通过更精准地识别客户意图和风险特征，UltraMem 能帮助金融机构实现业务降本增效。

- **能源行业**：在能源领域，UltraMem 可以应用于设备运检、电力营销客服和新能源功率预测。通过高效的数据处理和推理能力，UltraMem 能优化资源配置，提升能源效率。

- **工业自动化**：在工业自动化中，UltraMem 可用于设备故障预测和生产流程优化。其高效的推理能力能快速分析大量工业数据，实现智能化的生产管理。

## 常见问题解答 (FAQ)

### UltraMem 和 MoE 的主要区别是什么？
UltraMem 重点解决 MoE 推理时的高额访存问题。它通过超稀疏内存层、skip-layer、TDQKR 和 IVE 等设计，减少内存访问并提升并行效率，因此在推理速度和成本上优于传统 MoE。

### UltraMem 为什么能降低推理成本？
因为它不是在推理时激活大量专家，而是只激活与任务相关的少量参数，并将大型内存层拆分到 Transformer 层中并行执行，从而显著减少访存压力，最高可将成本降低 83%。

### UltraMem 适合哪些应用场景？
它适合低延迟、高并发的实时推理场景，如代码补全、智能客服，也适合大规模模型部署，以及金融、能源、工业自动化等需要高效推理和资源优化的行业场景。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
