Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: Memory Layers – Meta 开源不增加算力时增加大模型的参数方法
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
Memory Layers – Meta 开源不增加算力时增加大模型的参数方法
Prompt 语宙 > AIGC 资讯 > Memory Layers – Meta 开源不增加算力时增加大模型的参数方法
AIGC 资讯

Memory Layers – Meta 开源不增加算力时增加大模型的参数方法

Prompt 语宙研究院
最近更新: 2026年6月9日 上午11:37
RAG检索增强 大模型微调 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 用可训练键值记忆层扩容模型容量,不增加浮点运算次数。
  • 通过稀疏 top-k 查找与产品量化键,实现高效存储、检索与扩展。
  • 在事实性任务中表现突出,可替换部分 FFN 提升知识获取与准确性。

Memory Layers是什么

Memory Layers是Meta推出的用可训练的键值查找机制为模型增加额外参数的方法,它不会增加浮点运算次数(FLOPs)。基于稀疏激活Memory Layers补充计算密集型的前馈层,提供专门的容量廉价地存储和检索信息。Memory Layers在大规模语言模型中显示出显著的实用性,尤其是在处理事实性任务时,能显著提高模型的性能。基于替换Transformer层中的一个或多个前馈网络(FFN)与记忆层,在不显著增加计算成本的情况下,显著提升模型的事实准确性和知识获取能力。

阅读目录
  • Memory Layers是什么
  • Memory Layers的主要功能
  • Memory Layers的技术原理
  • Memory Layers的项目地址
  • Memory Layers的应用场景

memory layers

Memory Layers的主要功能

  • 参数扩展:支持模型在不增加计算负担(即不增加FLOPs)的情况下增加额外的参数,扩展模型的容量。
  • 信息存储与检索:提供专门的机制存储和检索信息。
  • 补充密集层:与计算密集型的前馈层(feed-forward layers)互补,基于稀疏激活模式提供信息存储和检索的专用容量。
  • 提高事实准确性:在事实性任务中,显著提高语言模型的准确性,让模型更准确地记忆和使用训练数据中的事实。
  • 性能提升:在计算和参数匹配的情况下,让模型性能超过传统的密集模型和混合专家模型。

Memory Layers的技术原理

  • 键值查找机制:基于简单的键值查找机制工作,其中键和值都编码为嵌入向量。给定查询向量q,及一组键K和值V,输出是值的一个软组合,权重根据q与对应键的相似度确定。
  • 稀疏激活:与传统的注意力机制不同,Memory Layers中的键和值是可训练的参数,而不是激活值。由于键和值的数量通常很大,Memory Layers需要进行稀疏查找和更新,只有与查询最相似的top-k键和对应的值参与输出计算。
  • 产品键查找:为解决大规模记忆中查询-键检索的瓶颈,Memory Layers采用产品量化键(product-quantized keys),用两组较小的键有效地执行全键集的top-k查找。
  • 并行化实现:由于Memory Layers对内存的需求很大,在多个GPU上并行化嵌入查找和聚合实现大规模扩展。
  • 共享记忆参数:用共享的记忆参数池,在不增加参数数量的情况下,基于多个记忆层增加性能。

Memory Layers的项目地址

  • 项目官网:https://ai.meta.com/research/publications/memory-layers-at-scale/
  • GitHub仓库:https://github.com/facebookresearch/memory
  • arXiv技术论文:https://arxiv.org/pdf/2412.09764

Memory Layers的应用场景

  • 问答系统:在问答系统中,帮助模型记住和检索大量的事实信息,提供准确的答案。
  • 语言模型:在自然语言处理中,增强语言模型的记忆能力,在处理长文本和复杂对话时更加有效。
  • 推荐系统:在推荐系统中存储用户的历史行为和偏好,提供更个性化的推荐。
  • 知识图谱:在知识图谱的应用中,存储和检索实体之间的关系,支持复杂的查询和推理。
  • 对话系统:在对话系统中,帮助模型记住对话历史,让对话更加连贯和自然。
❓ 常见问题解答(FAQ)
Memory Layers 是什么?

Memory Layers 是 Meta 提出的记忆层方法,用可训练的键值查找机制为模型增加额外参数,但不增加 FLOPs。它通过稀疏激活补充 FFN,提供专门的存储与检索容量,尤其适合事实性任务。

Memory Layers 为什么能提升事实准确性?

它把部分参数转为可训练的记忆键值,并在查询时只激活最相关的 top-k 记忆项,从而更高效地存储和调用事实信息。相比纯密集层,这种机制更适合知识记忆与检索。

Memory Layers 适合哪些应用场景?

适合问答系统、语言模型、推荐系统、知识图谱和对话系统等场景。凡是需要大量事实存储、快速检索或长上下文记忆的任务,都能从这种低 FLOPs 的参数扩展方式中受益。

🔬 语宙深潜追问 · 进阶实操拆解
Memory Layers适合补哪类能力短板?

更适合补事实记忆、长尾知识和稀疏模式检索,不太适合替代通用推理主干。它像外挂记忆库,强在查得准,不在全面提升计算深度。

训练时怎么避免新参数学成噪声?

要控制稀疏激活比例,并对键值查找做正则和验证集约束。最好先冻结主干,再逐步放开记忆层,防止新参数把原有表示空间扰乱。

🗳️ 读者观点微投票 · 您的实战立场是?
不增算力加参数,真能替代更大模型吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🐋 所属权威专题:DeepSeek 深度实战与部署 →
  • UltraMem – 字节豆包大模型团队推出的全新超稀疏模型架构
  • 高效大语言模型推理 [译]
  • LayerSkip – Meta推出加速大型语言模型推理过程的技术
  • 最大化大语言模型性能 [译]
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
小米MiMo-V2-Flash开源大模型:150亿参数击败Claude 4.5,推理成本仅2.5%
Meissonic – 阿里联合多所高校推出的文本到图像合成模型
阿里发布Qwen-Image-3.0,支持4.5K Token超长输入与复杂图文生成
视频生成模型:构建虚拟世界的模拟器 [译]
微软开源FrogBoss:32B参数编程模型如何用’漏洞生成’技术登顶SWE-Bench?
TAGGED:RAG检索增强大模型微调开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 AddressCLIP – 中科院联合阿里云推出的端到端图像地理定位大模型 AddressCLIP – 中科院联合阿里云推出的端到端图像地理定位大模型
下一篇 OptoChat AI – 南智光电联合南大推出的光子芯片领域专用大模型 OptoChat AI – 南智光电联合南大推出的光子芯片领域专用大模型
Ad image
Ad image

最近更新

WordPress 7.2版本更新与默认随机重定向、Secrets API撤回及MCP核心能力拆解封面图
官方博客竟把关闭过滤器写错了!WordPress 7.2前瞻全拆解:默认/random/暗藏隐私与SEO风险、Secrets API紧急撤回与3项MCP只读能力落地
AI 工具
Anthropic上市募资与算力长约的隐喻:现金光环上升,数据中心暗链延伸,治理水晶承受张力与阻力冲击。
募资超1070亿美元却背负9000亿算力长约!Anthropic史上最大IPO背后的三大隐忧:1040亿年内亏损、地方抵制潮与PBC治理死结
AIGC 资讯
微软Copilot与Claude/ChatGPT价格战隐喻:发光玻璃表格堡垒守住Excel,数据流高效汇聚,企业AI竞争升级
3000万付费仅吃下4.5亿席位不到7%!微软Ignite正面叫板Claude与ChatGPT:月均30美元VS 205美元价格战与Excel保卫战全拆解
AIGC 资讯
联想AI推理时代的端边云全栈算力插画:玻璃拟态服务器核心发光,光流连接云端与边缘节点,呈现营收与订单增长动能。
AI营收暴涨80%且握5300亿服务器订单!联想Q2单季营收首破2000亿、净利狂飙166%:端边云全栈算力如何接住推理时代红利?
AIGC 资讯

相关推荐

DisPose – 北大等多所高校推出的增强人物图像控制动画质量的技术
AIGC 资讯

DisPose – 北大等多所高校推出的增强人物图像控制动画质量的技术

Prompt 语宙研究院
AI绘画提示词 AI视频生成 ComfyUI stable diffusion 开源大模型
QuestMobile六月AI原生App月活榜:豆包3. 8 亿断层第一,千问增速暴涨近 58 倍
AIGC 资讯

QuestMobile六月AI原生App月活榜:豆包3. 8 亿断层第一,千问增速暴涨近 58 倍

Prompt 语宙研究院
DeepSeek Kimi 豆包 豆包大模型 通义千问
DeepSeek-Coder-V2 – DeepSeek开源的代码语言模型,与GPT4-Turbo相媲美
AIGC 资讯

DeepSeek-Coder-V2 – DeepSeek开源的代码语言模型,与GPT4-Turbo相媲美

Prompt 语宙研究院
AI编程 DeepSeek HuggingFace 大模型微调 开源大模型
表 1: 实验结果的表格展示。
强化 AI 学习

DREAM: 分布式 RAG 实验框架 [译]

宝玉的分享
AI编程 RAG检索增强 大模型微调 开源大模型
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.