# Memory Layers – Meta 开源不增加算力时增加大模型的参数方法

- Link: https://paooo.com/aigc-news/23436/
- Published: 2026-06-09T11:37:43+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 用可训练键值记忆层扩容模型容量，不增加浮点运算次数。
 * 通过稀疏 top-k 查找与产品量化键，实现高效存储、检索与扩展。
 * 在事实性任务中表现突出，可替换部分 FFN 提升知识获取与准确性。

## Memory Layers是什么

Memory Layers是Meta推出的用可训练的键值查找机制为模型增加额外参数的方法，它不会增加
浮点运算次数（FLOPs）。基于稀疏激活Memory Layers补充计算密集型的前馈层，提供专门
的容量廉价地存储和检索信息。Memory Layers在大规模语言模型中显示出显著的实用性，尤其是
在处理事实性任务时，能显著提高模型的性能。基于替换Transformer层中的一个或多个前馈
网络（FFN）与记忆层，在不显著增加计算成本的情况下，显著提升模型的事实准确性和知识
获取能力。

阅读目录

 * [Memory Layers是什么](https://paooo.com/aigc-news/23436/#memory-layers%e6%98%af%e4%bb%80%e4%b9%88)
 * [Memory Layers的主要功能](https://paooo.com/aigc-news/23436/#memory-layers%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [Memory Layers的技术原理](https://paooo.com/aigc-news/23436/#memory-layers%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [Memory Layers的项目地址](https://paooo.com/aigc-news/23436/#memory-layers%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [Memory Layers的应用场景](https://paooo.com/aigc-news/23436/#memory-layers%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![memory layers](https://paooo.com/wp-content/uploads/2026/06/memory-layers-website-
1.avif)

## Memory Layers的主要功能

 * **参数扩展**：支持模型在不增加计算负担（即不增加FLOPs）的情况下增加额外的参数，
   扩展模型的容量。
 * **信息存储与检索**：提供专门的机制存储和检索信息。
 * **补充密集层**：与计算密集型的前馈层（feed-forward layers）互补，基于稀疏激活
   模式提供信息存储和检索的专用容量。
 * **提高事实准确性**：在事实性任务中，显著提高语言模型的准确性，让模型更准确地记忆
   和使用训练数据中的事实。
 * **性能提升**：在计算和参数匹配的情况下，让模型性能超过传统的密集模型和混合专家
   模型。

## Memory Layers的技术原理

 * **键值查找机制**：基于简单的键值查找机制工作，其中键和值都编码为嵌入向量。给定
   查询向量q，及一组键K和值V，输出是值的一个软组合，权重根据q与对应键的相似度确定。
 * **稀疏激活**：与传统的注意力机制不同，Memory Layers中的键和值是可训练的参数，
   而不是激活值。由于键和值的数量通常很大，Memory Layers需要进行稀疏查找和更新，
   只有与查询最相似的top-k键和对应的值参与输出计算。
 * **产品键查找**：为解决大规模记忆中查询-键检索的瓶颈，Memory Layers采用产品量化
   键（product-quantized keys），用两组较小的键有效地执行全键集的top-k查找。
 * **并行化实现**：由于Memory Layers对内存的需求很大，在多个GPU上并行化嵌入查找和
   聚合实现大规模扩展。
 * **共享记忆参数**：用共享的记忆参数池，在不增加参数数量的情况下，基于多个记忆层
   增加性能。

## Memory Layers的项目地址

 * **项目官网**：[https://ai.meta.com/research/publications/memory-layers-at-scale/](https://ai.meta.com/research/publications/memory-layers-at-scale/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/facebookresearch/memory](https://github.com/facebookresearch/memory)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2412.09764](https://arxiv.org/pdf/2412.09764)

## Memory Layers的应用场景

 * **问答系统**：在问答系统中，帮助模型记住和检索大量的事实信息，提供准确的答案。
 * **语言模型**：在自然语言处理中，增强语言模型的记忆能力，在处理长文本和复杂对话
   时更加有效。
 * **推荐系统**：在推荐系统中存储用户的历史行为和偏好，提供更个性化的推荐。
 * **知识图谱**：在知识图谱的应用中，存储和检索实体之间的关系，支持复杂的查询和推理。
 * **对话系统**：在对话系统中，帮助模型记住对话历史，让对话更加连贯和自然。

❓ 常见问题解答（FAQ）

Memory Layers 是什么？

Memory Layers 是 Meta 提出的记忆层方法，用可训练的键值查找机制为模型增加额外参数，
但不增加 FLOPs。它通过稀疏激活补充 FFN，提供专门的存储与检索容量，尤其适合事实性
任务。

Memory Layers 为什么能提升事实准确性？

它把部分参数转为可训练的记忆键值，并在查询时只激活最相关的 top-k 记忆项，从而更高效
地存储和调用事实信息。相比纯密集层，这种机制更适合知识记忆与检索。

Memory Layers 适合哪些应用场景？

适合问答系统、语言模型、推荐系统、知识图谱和对话系统等场景。凡是需要大量事实存储、
快速检索或长上下文记忆的任务，都能从这种低 FLOPs 的参数扩展方式中受益。

🔬 语宙深潜追问 · 进阶实操拆解

Memory Layers适合补哪类能力短板？

更适合补事实记忆、长尾知识和稀疏模式检索，不太适合替代通用推理主干。它像外挂记忆
库，强在查得准，不在全面提升计算深度。

训练时怎么避免新参数学成噪声？

要控制稀疏激活比例，并对键值查找做正则和验证集约束。最好先冻结主干，再逐步放开记忆
层，防止新参数把原有表示空间扰乱。

🗳️ 读者观点微投票 · 您的实战立场是？

不增算力加参数，真能替代更[大模型](https://paooo.com/ai-study/)吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [UltraMem – 字节豆包大模型团队推出的全新超稀疏模型架构](https://paooo.com/aigc-news/22271/)
 * [高效大语言模型推理 [译]](https://paooo.com/ai-study/8438/)
 * [LayerSkip – Meta推出加速大型语言模型推理过程的技术](https://paooo.com/aigc-news/26258/)
 * [最大化大语言模型性能 [译]](https://paooo.com/ai-study/8477/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/23436/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
