Memory Layers是什么
Memory Layers是Meta推出的用可训练的键值查找机制为模型增加额外参数的方法,它不会增加浮点运算次数(FLOPs)。基于稀疏激活Memory Layers补充计算密集型的前馈层,提供专门的容量廉价地存储和检索信息。Memory Layers在大规模语言模型中显示出显著的实用性,尤其是在处理事实性任务时,能显著提高模型的性能。基于替换Transformer层中的一个或多个前馈网络(FFN)与记忆层,在不显著增加计算成本的情况下,显著提升模型的事实准确性和知识获取能力。

Memory Layers的主要功能
- 参数扩展:支持模型在不增加计算负担(即不增加FLOPs)的情况下增加额外的参数,扩展模型的容量。
- 信息存储与检索:提供专门的机制存储和检索信息。
- 补充密集层:与计算密集型的前馈层(feed-forward layers)互补,基于稀疏激活模式提供信息存储和检索的专用容量。
- 提高事实准确性:在事实性任务中,显著提高语言模型的准确性,让模型更准确地记忆和使用训练数据中的事实。
- 性能提升:在计算和参数匹配的情况下,让模型性能超过传统的密集模型和混合专家模型。
Memory Layers的技术原理
- 键值查找机制:基于简单的键值查找机制工作,其中键和值都编码为嵌入向量。给定查询向量q,及一组键K和值V,输出是值的一个软组合,权重根据q与对应键的相似度确定。
- 稀疏激活:与传统的注意力机制不同,Memory Layers中的键和值是可训练的参数,而不是激活值。由于键和值的数量通常很大,Memory Layers需要进行稀疏查找和更新,只有与查询最相似的top-k键和对应的值参与输出计算。
- 产品键查找:为解决大规模记忆中查询-键检索的瓶颈,Memory Layers采用产品量化键(product-quantized keys),用两组较小的键有效地执行全键集的top-k查找。
- 并行化实现:由于Memory Layers对内存的需求很大,在多个GPU上并行化嵌入查找和聚合实现大规模扩展。
- 共享记忆参数:用共享的记忆参数池,在不增加参数数量的情况下,基于多个记忆层增加性能。
Memory Layers的项目地址
- 项目官网:https://ai.meta.com/research/publications/memory-layers-at-scale/
- GitHub仓库:https://github.com/facebookresearch/memory
- arXiv技术论文:https://arxiv.org/pdf/2412.09764
Memory Layers的应用场景
- 问答系统:在问答系统中,帮助模型记住和检索大量的事实信息,提供准确的答案。
- 语言模型:在自然语言处理中,增强语言模型的记忆能力,在处理长文本和复杂对话时更加有效。
- 推荐系统:在推荐系统中存储用户的历史行为和偏好,提供更个性化的推荐。
- 知识图谱:在知识图谱的应用中,存储和检索实体之间的关系,支持复杂的查询和推理。
- 对话系统:在对话系统中,帮助模型记住对话历史,让对话更加连贯和自然。
❓ 常见问题解答(FAQ)
Memory Layers 是什么?
Memory Layers 是 Meta 提出的记忆层方法,用可训练的键值查找机制为模型增加额外参数,但不增加 FLOPs。它通过稀疏激活补充 FFN,提供专门的存储与检索容量,尤其适合事实性任务。
Memory Layers 为什么能提升事实准确性?
它把部分参数转为可训练的记忆键值,并在查询时只激活最相关的 top-k 记忆项,从而更高效地存储和调用事实信息。相比纯密集层,这种机制更适合知识记忆与检索。
Memory Layers 适合哪些应用场景?
适合问答系统、语言模型、推荐系统、知识图谱和对话系统等场景。凡是需要大量事实存储、快速检索或长上下文记忆的任务,都能从这种低 FLOPs 的参数扩展方式中受益。
🔬 语宙深潜追问 · 进阶实操拆解
Memory Layers适合补哪类能力短板?
更适合补事实记忆、长尾知识和稀疏模式检索,不太适合替代通用推理主干。它像外挂记忆库,强在查得准,不在全面提升计算深度。
训练时怎么避免新参数学成噪声?
要控制稀疏激活比例,并对键值查找做正则和验证集约束。最好先冻结主干,再逐步放开记忆层,防止新参数把原有表示空间扰乱。
🗳️ 读者观点微投票 · 您的实战立场是?
不增算力加参数,真能替代更大模型吗?
