---
title: "DeepSeek联合北大推出Engram：突破GPU显存限制的LLM记忆革命，性能飙升！"
url: "https://paooo.com/aigc-news/12301/"
author: "Prompt 语宙研究院"
published_at: "2026-06-14T04:12:22+08:00"
updated_at: "2026-06-07T20:09:19+08:00"
categories: "AI 工具, AIGC 资讯"
tags: "DeepSeek, Engram, GPU显存限制, MoE, 北京大学, 大语言模型, 条件记忆模块"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# DeepSeek联合北大推出Engram：突破GPU显存限制的LLM记忆革命，性能飙升！

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/12301/) · 作者：Prompt 语宙研究院 · 发布时间：2026-06-14

## AI 30 秒核心看点 (TL;DR)

- Engram把静态知识从计算中剥离，借助独立内存与稀疏检索提升LLM效率。
- 它与MoE互补，重点优化知识存储与检索，适合知识密集型和长上下文任务。
- 通过异步预取与确定性检索，Engram可缓解GPU显存瓶颈，支持更大规模扩展。

> 
                **💡 站外导读：**随着大语言模型参数规模持续膨胀，GPU显存已成为制约模型扩展的关键瓶颈。同时，LLM在处理知识密集型任务时，常面临推理效率低下、长上下文理解困难等挑战。如何在不增加计算成本的前提下，突破硬件限制并提升模型性能，成为业界焦点。DeepSeek联合北京大学提出的Engram条件记忆模块，正是瞄准这一核心痛点，通过创新的计算与存储解耦架构，为LLM的效率与能力带来双重突破。

            

             
                        

## Engram是什么

Engram 是[DeepSeek](https://ai-bot.cn/sites/54501.html)团队联合北京大学推出的条件记忆模块，能提升大语言模型（LLM）的性能。Engram通过引入现代化的 -gram 嵌入表，将静态知识存储在独立的内存中，用稀疏检索和上下文感知门控技术实现高效的知识查找。Engram 与混合专家模型（MoE）互补，能显著提升模型在知识密集型任务、长上下文处理和推理能力上的表现，不增加计算量，还能突破 GPU 显存限制，支持大规模参数扩展。

## Engram的主要功能

- 
**知识检索**：通过静态嵌入表快速查找固定知识，减少对计算资源的依赖。

- 
**长上下文处理**：释放注意力机制的容量，使其专注于全局上下文，提升长文本推理能力。

- 
**计算与存储解耦**：支持从主机内存异步预取数据，突破 GPU 显存限制，实现大规模参数扩展。

- 
**性能提升**：在不增加计算量的情况下，显著提升模型在知识密集型任务、通用推理、代码和数学任务上的表现。

## Engram的技术原理

- 
**分词器压缩**：通过预计算的满射函数将原始 Token ID 映射为规范化 ID，减少词表冗余，提高 -gram 的覆盖效率。

- 
**多头哈希检索**：用哈希方法和多头机制将局部上下文映射到嵌入表中，解决直接参数化 -gram 组合的难题。

- 
**上下文感知门控**：用当前隐藏状态作为动态 Query，检索到的嵌入作为 Key 和 Value，通过门控机制抑制噪声，确保语义一致性。

- 
**稀疏性分配**：在给定的参数预算下，重新分配 MoE 专家参数给 Engram 内存，发现计算与记忆之间的 U 型权衡曲线，找到最优分配比例。

- 
**系统实现**：用 Engram 的确定性检索特性，实现计算与存储的解耦，通过预取和重叠机制掩盖数据传输延迟，突破 GPU 显存限制。

## Engram的项目地址

- **技术论文**：https://github.com/deepseek-ai/Engram/blob/main/Engram_paper.pdf

## Engram的应用场景

- 
**知识问答**：Engram 可快速检索知识库中的事实信息，提升问答系统的响应速度和准确性。

- 
**文本生成**：通过高效的知识检索，Engram 能在文本生成中快速匹配固定短语和模式，提高生成效率。

- 
**长文本处理**：Engram 能优化长上下文建模，增强模型对长文本的推理能力，适用于法律、学术等长文本分析。

- 
**代码辅助**：Engram 能快速检索代码中的常见模式和结构，提升代码生成、补全和理解的效率。

- 
**数学推理**：Engram 能快速检索数学公式和定理，辅助解决数学问题，提升推理效率。

                    
            
                

#### 📝 站长洞察 (Editor's Insight)

                Engram的推出标志着LLM架构设计正从‘暴力堆算力’转向‘精细化资源管理’。其核心价值在于将‘记忆’从‘计算’中剥离，这与当前混合专家模型（MoE）的发展脉络高度契合——MoE优化了计算分配，而Engram则优化了知识存储与检索。两者互补，共同勾勒出下一代高效LLM的蓝图。从更宏观的视角看，Engram代表了一种趋势：通过软件和算法创新，来突破硬件物理限制。它不像追求更大显存那样‘奢侈’，而是用智能的内存管理（如异步预取、确定性检索）来‘四两拨千斤’。这对降低AI部署成本、推动大模型在更多场景落地具有深远意义。未来，类似Engram的‘外挂式’智能记忆模块，或将成为LLM标配，使模型在知识更新、长期记忆管理等方面更加灵活高效。

## 常见问题解答 (FAQ)

### Engram是什么？
Engram是DeepSeek联合北京大学提出的条件记忆模块，用于提升大语言模型的知识检索、长上下文处理和推理能力。它把静态知识放到独立内存中，通过稀疏检索和门控机制调用。

### Engram能解决GPU显存不足吗？
文章指出，Engram通过计算与存储解耦、主机内存异步预取和确定性检索，能够突破GPU显存限制，支持更大规模参数扩展，同时尽量不增加计算量。

### Engram适合哪些应用场景？
适合知识问答、文本生成、长文本分析、代码辅助和数学推理等场景。它能快速检索固定知识和常见模式，提升响应速度、生成效率与推理表现。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
