Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: DeepSeek联合北大推出Engram:突破GPU显存限制的LLM记忆革命,性能飙升!
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
DeepSeek联合北大推出Engram:突破GPU显存限制的LLM记忆革命,性能飙升!
Prompt 语宙 > AI 工具 > DeepSeek联合北大推出Engram:突破GPU显存限制的LLM记忆革命,性能飙升!
AI 工具AIGC 资讯

DeepSeek联合北大推出Engram:突破GPU显存限制的LLM记忆革命,性能飙升!

Prompt 语宙研究院
最近更新: 2026年6月7日 下午8:09
DeepSeek Engram GPU显存限制 MoE 北京大学 大语言模型 条件记忆模块
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • Engram把静态知识从计算中剥离,借助独立内存与稀疏检索提升LLM效率。
  • 它与MoE互补,重点优化知识存储与检索,适合知识密集型和长上下文任务。
  • 通过异步预取与确定性检索,Engram可缓解GPU显存瓶颈,支持更大规模扩展。

💡 站外导读:随着大语言模型参数规模持续膨胀,GPU显存已成为制约模型扩展的关键瓶颈。同时,LLM在处理知识密集型任务时,常面临推理效率低下、长上下文理解困难等挑战。如何在不增加计算成本的前提下,突破硬件限制并提升模型性能,成为业界焦点。DeepSeek联合北京大学提出的Engram条件记忆模块,正是瞄准这一核心痛点,通过创新的计算与存储解耦架构,为LLM的效率与能力带来双重突破。

Engram是什么

Engram 是DeepSeek团队联合北京大学推出的条件记忆模块,能提升大语言模型(LLM)的性能。Engram通过引入现代化的 -gram 嵌入表,将静态知识存储在独立的内存中,用稀疏检索和上下文感知门控技术实现高效的知识查找。Engram 与混合专家模型(MoE)互补,能显著提升模型在知识密集型任务、长上下文处理和推理能力上的表现,不增加计算量,还能突破 GPU 显存限制,支持大规模参数扩展。

阅读目录
  • Engram是什么
  • Engram的主要功能
  • Engram的技术原理
  • Engram的项目地址
  • Engram的应用场景
      • 📝 站长洞察 (Editor’s Insight)

Engram

Engram的主要功能

  • 知识检索:通过静态嵌入表快速查找固定知识,减少对计算资源的依赖。
  • 长上下文处理:释放注意力机制的容量,使其专注于全局上下文,提升长文本推理能力。
  • 计算与存储解耦:支持从主机内存异步预取数据,突破 GPU 显存限制,实现大规模参数扩展。
  • 性能提升:在不增加计算量的情况下,显著提升模型在知识密集型任务、通用推理、代码和数学任务上的表现。

Engram的技术原理

  • 分词器压缩:通过预计算的满射函数将原始 Token ID 映射为规范化 ID,减少词表冗余,提高 -gram 的覆盖效率。
  • 多头哈希检索:用哈希方法和多头机制将局部上下文映射到嵌入表中,解决直接参数化 -gram 组合的难题。
  • 上下文感知门控:用当前隐藏状态作为动态 Query,检索到的嵌入作为 Key 和 Value,通过门控机制抑制噪声,确保语义一致性。
  • 稀疏性分配:在给定的参数预算下,重新分配 MoE 专家参数给 Engram 内存,发现计算与记忆之间的 U 型权衡曲线,找到最优分配比例。
  • 系统实现:用 Engram 的确定性检索特性,实现计算与存储的解耦,通过预取和重叠机制掩盖数据传输延迟,突破 GPU 显存限制。

Engram的项目地址

  • 技术论文:https://github.com/deepseek-ai/Engram/blob/main/Engram_paper.pdf

Engram的应用场景

  • 知识问答:Engram 可快速检索知识库中的事实信息,提升问答系统的响应速度和准确性。
  • 文本生成:通过高效的知识检索,Engram 能在文本生成中快速匹配固定短语和模式,提高生成效率。
  • 长文本处理:Engram 能优化长上下文建模,增强模型对长文本的推理能力,适用于法律、学术等长文本分析。
  • 代码辅助:Engram 能快速检索代码中的常见模式和结构,提升代码生成、补全和理解的效率。
  • 数学推理:Engram 能快速检索数学公式和定理,辅助解决数学问题,提升推理效率。

📝 站长洞察 (Editor’s Insight)

Engram的推出标志着LLM架构设计正从‘暴力堆算力’转向‘精细化资源管理’。其核心价值在于将‘记忆’从‘计算’中剥离,这与当前混合专家模型(MoE)的发展脉络高度契合——MoE优化了计算分配,而Engram则优化了知识存储与检索。两者互补,共同勾勒出下一代高效LLM的蓝图。从更宏观的视角看,Engram代表了一种趋势:通过软件和算法创新,来突破硬件物理限制。它不像追求更大显存那样‘奢侈’,而是用智能的内存管理(如异步预取、确定性检索)来‘四两拨千斤’。这对降低AI部署成本、推动大模型在更多场景落地具有深远意义。未来,类似Engram的‘外挂式’智能记忆模块,或将成为LLM标配,使模型在知识更新、长期记忆管理等方面更加灵活高效。

🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
DeepSeek ↗
DeepSeek 是由幻方量化公司推出的 AI 智能助手和开源大模型平台。其核心功能包括提供世界级推理能力的 A
Engram ↗
Engram是一款为非英语母语者提供语法检查、改写润色和翻译功能的AI英语写作工具,助力提升英语写作能力。
❓ 常见问题解答(FAQ)
Engram是什么?

Engram是DeepSeek联合北京大学提出的条件记忆模块,用于提升大语言模型的知识检索、长上下文处理和推理能力。它把静态知识放到独立内存中,通过稀疏检索和门控机制调用。

Engram能解决GPU显存不足吗?

文章指出,Engram通过计算与存储解耦、主机内存异步预取和确定性检索,能够突破GPU显存限制,支持更大规模参数扩展,同时尽量不增加计算量。

Engram适合哪些应用场景?

适合知识问答、文本生成、长文本分析、代码辅助和数学推理等场景。它能快速检索固定知识和常见模式,提升响应速度、生成效率与推理表现。

🔬 语宙深潜追问 · 进阶实操拆解
条件记忆模块怎么接入现有LLM?

通常把记忆层放在检索与上下文拼接之间,先做稀疏召回,再用上下文门控决定写入和读取。接入时要控制记忆污染,给每类任务单独设置信任阈值和过期策略,避免旧知识拖累推理。

长上下文和外部记忆如何分工?

长上下文适合承载当前任务的连续推理,外部记忆适合保存跨会话事实、偏好和项目状态。最佳实践是把“短期工作记忆”留在上下文里,把“长期稳定记忆”放到可检索存储中,并定期做去重与摘要。

🗳️ 读者观点微投票 · 您的实战立场是?
不加算力就提升长上下文,Engram会成为LLM标配吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🐋 所属权威专题:DeepSeek 深度实战与部署 →
  • Seed-Thinking-v1.5 – 字节跳动推出的最新思考模型
  • 美团开源LongCat-Flash-Lite:685亿参数MoE大模型,仅激活30亿参数实现256K超长上下文推理
  • XVERSE-MoE-A36B – 元象开源的国内最大MoE模型,推理性能提升100%
  • MoE++ – 昆仑万维和北大联合推出的混合专家架构
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
ElevenLabs Flash – ElevenLabs推出的低延迟语音合成模型
最高降99%!小米MiMo-V2.5系列API永久降价,开发者成本“腰斩”式优化
DecipherIt: AI多智能体研究助手,深度整合全球多源信息与智能分析
Deezer 披露:平台日上传量超 50% 为 AI 生成音乐,6 个月未播放内容将被清理
Dream-7B – 港大联合华为诺亚方舟开源的扩散推理模型
TAGGED:DeepSeekEngramGPU显存限制MoE北京大学大语言模型条件记忆模块
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 百川智能Baichuan-M3开源发布:医疗AI大模型问诊能力超GPT-5.2及人类医生,医疗幻觉率全球最低 百川智能Baichuan-M3开源发布:医疗AI大模型问诊能力超GPT-5.2及人类医生,医疗幻觉率全球最低
下一篇 Oh My OpenCode:AI编程助手革命性插件,自动调度多模型Agent团队,一键提升开发效率 Oh My OpenCode:AI编程助手革命性插件,自动调度多模型Agent团队,一键提升开发效率
Ad image
Ad image

最近更新

Latent Space 对话 Black Forest Labs 核心创始人 Andreas Blattmann 与 Dustin Podell:从 FLUX 到视觉智能与世界动作模型
视觉智能为什么不能只靠静态图片?对话Black Forest Labs创始人:FLUX 3音画联合训练、扩散与自回归之争及世界动作模型全拆解
强化 AI 学习
Google 官方详解网站迁移至 CDN 如何避免爬虫流量激增打崩源站与误封 Googlebot 导致搜索掉收录
刚切上CDN源站反被爬虫打崩?Google官方拆解迁移翻车悖论:冷缓存雪崩、验证码误杀与预热止血指南
AI 工具
GitHub 正式上线 Repository insights 页面,集中展示 Copilot 代码审查采纳率与评论分类统计结果
AI代码审查到底有没有被采纳?GitHub上线Repository insights与repos-1-day API:四维信号、力度趋势及统计陷阱全拆解
AI 工具
Forrester AI 颠覆评估模型 17 大技术与服务品类分布图:呈现受颠覆、中立、争夺与加速四类市场象限及细分赛道数量
80%技术市场面临AI重塑冲击!Forrester拆解200+细分赛道颠覆矩阵:四大象限与Top 20合同采购谈判实战
最新趋势

相关推荐

美团开源LongCat-Flash-Omni:5600亿参数全模态大模型,实时音视频交互,重塑AI应用边界
AI 工具AIGC 资讯

美团开源LongCat-Flash-Omni:5600亿参数全模态大模型,实时音视频交互,重塑AI应用边界

Prompt 语宙研究院
LongCat-Flash-Omni 全模态大模型 实时交互 开源SOTA 美团
GPTPlus
AI 工具

GPTPlus

remaker
AI办公效率 AI编程 ChatGPT OpenAI
MiniMax-M1开源发布:4560亿参数MoE架构,百万上下文推理模型性价比之王
AI 工具AIGC 资讯

MiniMax-M1开源发布:4560亿参数MoE架构,百万上下文推理模型性价比之王

Prompt 语宙研究院
AIGC MiniMax-M1 MoE架构 开源推理模型 长上下文
百川智能Baichuan-M3开源发布:医疗AI大模型问诊能力超GPT-5.2及人类医生,医疗幻觉率全球最低
AIGC 资讯

百川智能Baichuan-M3开源发布:医疗AI大模型问诊能力超GPT-5.2及人类医生,医疗幻觉率全球最低

Prompt 语宙研究院
AI医疗 Baichuan-M3 医疗大模型 开源 百川智能
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.