# DeepSeek联合北大推出Engram：突破GPU显存限制的LLM记忆革命，性能飙升！

- Link: https://paooo.com/aigc-news/12301/
- Published: 2026-06-14T04:12:22+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * Engram把静态知识从计算中剥离，借助独立内存与稀疏检索提升LLM效率。
 * 它与MoE互补，重点优化知识存储与检索，适合知识密集型和长上下文任务。
 * 通过异步预取与确定性检索，Engram可缓解GPU显存瓶颈，支持更大规模扩展。

> **💡 站外导读：**随着大语言模型参数规模持续膨胀，GPU显存已成为制约模型扩展的关键
> 瓶颈。同时，LLM在处理知识密集型任务时，常面临推理效率低下、长上下文理解困难等挑战。
> 如何在不增加计算成本的前提下，突破硬件限制并提升模型性能，成为业界焦点。DeepSeek
> 联合北京大学提出的Engram条件记忆模块，正是瞄准这一核心痛点，通过创新的计算与存储
> 解耦架构，为LLM的效率与能力带来双重突破。

## Engram是什么

Engram 是[DeepSeek](https://ai-bot.cn/sites/54501.html)团队联合北京大学推出的条件
记忆模块，能提升大语言模型（LLM）的性能。Engram通过引入现代化的 -gram 嵌入表，将
静态知识存储在独立的内存中，用稀疏检索和上下文感知门控技术实现高效的知识查找。Engram
与混合专家模型（MoE）互补，能显著提升模型在知识密集型任务、长上下文处理和推理能力
上的表现，不增加计算量，还能突破 GPU 显存限制，支持大规模参数扩展。

阅读目录

 * [Engram是什么](https://paooo.com/aigc-news/12301/#engram%e6%98%af%e4%bb%80%e4%b9%88)
 * [Engram的主要功能](https://paooo.com/aigc-news/12301/#engram%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [Engram的技术原理](https://paooo.com/aigc-news/12301/#engram%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [Engram的项目地址](https://paooo.com/aigc-news/12301/#engram%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [Engram的应用场景](https://paooo.com/aigc-news/12301/#engram%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)
       * [📝 站长洞察 (Editor’s Insight)](https://paooo.com/aigc-news/12301/#%f0%9f%93%9d-%e7%ab%99%e9%95%bf%e6%b4%9e%e5%af%9f-editor8217s-insight)

![Engram](https://paooo.com/wp-content/uploads/2026/05/Engram-website-1.avif)

## Engram的主要功能

 * **知识检索**：通过静态嵌入表快速查找固定知识，减少对计算资源的依赖。
 * **长上下文处理**：释放注意力机制的容量，使其专注于全局上下文，提升长文本推理能力。
 * **计算与存储解耦**：支持从主机内存异步预取数据，突破 GPU 显存限制，实现大规模
   参数扩展。
 * **性能提升**：在不增加计算量的情况下，显著提升模型在知识密集型任务、通用推理、
   代码和数学任务上的表现。

## Engram的技术原理

 * **分词器压缩**：通过预计算的满射函数将原始 Token ID 映射为规范化 ID，减少词表
   冗余，提高 -gram 的覆盖效率。
 * **多头哈希检索**：用哈希方法和多头机制将局部上下文映射到嵌入表中，解决直接参数
   化 -gram 组合的难题。
 * **上下文感知门控**：用当前隐藏状态作为动态 Query，检索到的嵌入作为 Key 和 Value，
   通过门控机制抑制噪声，确保语义一致性。
 * **稀疏性分配**：在给定的参数预算下，重新分配 MoE 专家参数给 Engram 内存，发现
   计算与记忆之间的 U 型权衡曲线，找到最优分配比例。
 * **系统实现**：用 Engram 的确定性检索特性，实现计算与存储的解耦，通过预取和重叠
   机制掩盖数据传输延迟，突破 GPU 显存限制。

## Engram的项目地址

 * **技术论文**：https://github.com/deepseek-ai/Engram/blob/main/Engram_paper.pdf

## Engram的应用场景

 * **知识问答**：Engram 可快速检索知识库中的事实信息，提升问答系统的响应速度和准确
   性。
 * **文本生成**：通过高效的知识检索，Engram 能在文本生成中快速匹配固定短语和模式，
   提高生成效率。
 * **长文本处理**：Engram 能优化长上下文建模，增强模型对长文本的推理能力，适用于
   法律、学术等长文本分析。
 * **代码辅助**：Engram 能快速检索代码中的常见模式和结构，提升代码生成、补全和理解
   的效率。
 * **数学推理**：Engram 能快速检索数学公式和定理，辅助解决数学问题，提升推理效率。

#### 📝 站长洞察 (Editor’s Insight)

Engram的推出标志着LLM架构设计正从‘暴力堆算力’转向‘精细化资源管理’。其核心价值在于
将‘记忆’从‘计算’中剥离，这与当前混合专家模型（MoE）的发展脉络高度契合——MoE优化了
计算分配，而Engram则优化了知识存储与检索。两者互补，共同勾勒出下一代高效LLM的蓝图。
从更宏观的视角看，Engram代表了一种趋势：通过软件和算法创新，来突破硬件物理限制。
它不像追求更大显存那样‘奢侈’，而是用智能的内存管理（如异步预取、确定性检索）来‘四两拨千斤’。
这对降低AI部署成本、推动[大模型](https://paooo.com/ai-study/)在更多场景落地具有深远
意义。未来，类似Engram的‘外挂式’智能记忆模块，或将成为LLM标配，使模型在知识更新、
长期记忆管理等方面更加灵活高效。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**DeepSeek ↗**

DeepSeek 是由幻方量化公司推出的 AI 智能助手和开源大模型平台。其核心功能包括提供世界
级推理能力的 A

**Engram ↗**

Engram是一款为非英语母语者提供语法检查、改写润色和翻译功能的AI英语写作工具，助力
提升英语写作能力。

❓ 常见问题解答（FAQ）

Engram是什么？

Engram是[DeepSeek](https://paooo.com/?s=DeepSeek)联合北京大学提出的条件记忆模块，
用于提升大语言模型的知识检索、长上下文处理和推理能力。它把静态知识放到独立内存中，
通过稀疏检索和门控机制调用。

Engram能解决GPU显存不足吗？

文章指出，Engram通过计算与存储解耦、主机内存异步预取和确定性检索，能够突破GPU显存
限制，支持更大规模参数扩展，同时尽量不增加计算量。

Engram适合哪些应用场景？

适合知识问答、文本生成、长文本分析、代码辅助和数学推理等场景。它能快速检索固定知识
和常见模式，提升响应速度、生成效率与推理表现。

🔬 语宙深潜追问 · 进阶实操拆解

条件记忆模块怎么接入现有LLM？

通常把记忆层放在检索与上下文拼接之间，先做稀疏召回，再用上下文门控决定写入和读取。
接入时要控制记忆污染，给每类任务单独设置信任阈值和过期策略，避免旧知识拖累推理。

长上下文和外部记忆如何分工？

长上下文适合承载当前任务的连续推理，外部记忆适合保存跨会话事实、偏好和项目状态。
最佳实践是把“短期工作记忆”留在上下文里，把“长期稳定记忆”放到可检索存储中，并定期
做去重与摘要。

🗳️ 读者观点微投票 · 您的实战立场是？

不加算力就提升长上下文，Engram会成为LLM标配吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [Seed-Thinking-v1.5 – 字节跳动推出的最新思考模型](https://paooo.com/aigc-news/20381/)
 * [美团开源LongCat-Flash-Lite：685亿参数MoE大模型，仅激活30亿参数实现256K超长上下文推理](https://paooo.com/aigc-news/11782/)
 * [XVERSE-MoE-A36B – 元象开源的国内最大MoE模型，推理性能提升100%](https://paooo.com/aigc-news/26904/)
 * [MoE++ – 昆仑万维和北大联合推出的混合专家架构](https://paooo.com/aigc-news/26173/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/12301/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
