Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: 向 OpenGPTs 注入长效记忆功能 [译]
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
向 OpenGPTs 注入长效记忆功能 [译]
Prompt 语宙 > 强化 AI 学习 > 向 OpenGPTs 注入长效记忆功能 [译]
强化 AI 学习

向 OpenGPTs 注入长效记忆功能 [译]

宝玉的分享
最近更新: 2026年5月23日 下午6:30
AI智能体 OpenAI RAG检索增强 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • OpenGPTs 仅有短期对话记忆,长效记忆需额外设计状态追踪与检索机制。
  • 语义记忆依赖向量检索,但易遗漏跨消息信息且缺少时间因素。
  • 生成式智能体结合最近性、相关性与反思,更适合构建可用的长期记忆。

三周前,我们发布了 OpenGPTs——一种基于开源理念实现的 OpenAI GPTs 和 Assistant API。OpenGPTs 能够构建对话型 AI 智能体,这是一种既灵活又前瞻性的技术架构。在这些智能体中,记忆扮演着至关重要的角色。目前,无论是 GPTs、OpenGPTs 还是 Assistants API,它们都仅仅支持基础的对话记忆功能。而长期记忆则是一个尚未深入探索的领域。在本篇博客中,我们将简要探讨我们对记忆的看法,分析为何这一领域研究不足,然后展示我们如何在 OpenGPTs 中实现并应用特定记忆机制,打造出一位“龙与地下城”游戏的地牢主。

阅读目录
  • 大语言模型的无状态特性
  • 对话记忆
  • 语义记忆
  • 挑战
  • 生成式智能体
  • 长期记忆的抽象理解
      • 对话记忆
      • 语义记忆
      • 生成式智能体
  • 针对特定应用的记忆机制
  • 龙与地下城聊天机器人
      • 技术架构
  • 实际操作中的展示
  • 结论

大语言模型的无状态特性

大语言模型(LLM)本质上是无状态的,即它们处理第二个输入时,不会记得之前的第一个输入。因此,几乎所有的大语言模型也都没有记忆功能。这就意味着,如果你想让模型有记忆能力,就需要用户在将信息传递给大语言模型之前自己维护这些状态。

OpenAI 不久前推出的 Assistants API 打破了这一局限。该 API 允许追踪一连串的信息,你可以让一个 AI 智能体(即大语言模型)处理这些信息,它会将新信息添加到这个信息序列中。尽管大语言模型本身依然是无状态的,但通过这个 API,它似乎具备了记忆功能。

即便如此,目前主要利用的还是基于对话的短期记忆。

对话记忆

对话记忆指的是在对话中记住之前的信息。这一过程是通过记录之前的消息,然后将这些消息作为输入内容加入到提示中,进而传递给大语言模型(LLM)来完成的。

向 OpenGPTs 注入长效记忆功能 [译]

当记录的消息数量变得很多时,就会出现问题。首先,如果记录的消息过多,可能会超出大语言模型处理的文本范围。其次,即便没有超出处理范围,过多的消息也可能让大语言模型难以有效处理所有信息(详见 Greg Kamradt 的研究,关于长文本处理的局限性)。

解决这个问题的一个直接方法是仅使用最近的几条消息。但这样做的缺点是缺乏长期记忆能力——机器人可能会忘记你之前说的话。

那么,如何解决这个问题呢?

语义记忆

语义记忆是另一种常用的记忆类型。它指的是寻找与当前消息内容相似的消息,并将这些消息以某种方式融入到当前的提示中。

这通常是通过为每条消息创建一个“嵌入向量”(一种信息的数学表示),然后寻找与之相似的其他消息来实现的。这个原理与所谓的“检索增强生成”(Retrieval-Augmented Generation, RAG)类似,不过它是在消息中进行搜索,而不是在文档中。

比如,如果用户问“我最喜欢的水果是什么”,我们可能会找到一条类似的旧消息,如“我最喜欢的水果是蓝莓”(因为它们在信息表示上是相似的)。然后,我们可以将这条旧消息作为上下文信息加入进来。

不过,这种方法也存在一些问题。

挑战

首先:信息或见解若分布在多条消息中,可能难以准确地检索到关键消息。例如,假如出现这样的消息序列:

AI: 你最喜欢哪种水果?

人类:蓝莓

要获取完整的信息,就必须同时检索这两条消息。

其次:这种方法没有考虑时间因素。随着时间的推移,偏好或事实可能会改变。我的最爱水果也可能会变。仅凭语义相似性来检索,并没有考虑到这一点。

第三:这种方式对所需记忆类型的界定相对模糊。这对于通用人工智能 (AGI) 可能是好事,但对于那些需要更专注、具体的应用来说则不太理想。

生成式智能体

生成式智能体 是一篇不到一年前发表的杰出论文,它在高级记忆领域做了一些极具创新性的工作。深入了解这篇论文,你会发现它是如何应对上述挑战的。

在《生成式智能体》一文中,研究者们采用了多种技巧来构建记忆:

  • 最近性:他们根据最新的消息来获取记忆(这是对话记忆与基于时间戳的消息加权的结合)。
  • 相关性:他们获取与话题相关的消息(语义记忆)。
  • 反思:他们不仅仅提取原始消息,而是利用大语言模型 (LLM) 对这些消息进行深思,然后提取这些深思后的内容。

通过反思可以解决前述的第一个问题:如果信息分散在多个消息中,通过对这些消息的反思可以生成一个综合概念。

第二个问题通过最近性加权得到了部分解决,但可能还未彻底解决。

至于第三个问题,则没有得到实质性的解决,因为这依然是一种较为通用的记忆形式(但这也符合其目标所在)。

长期记忆的抽象理解

当我们探讨长期记忆时,一个通用的抽象概念是:

  • 存在一种随时间变化并被持续追踪的信息
  • 这些信息会在特定时期进行更新
  • 这些信息会以某种方式融入到输入文本中

那么,我们关注的问题便是:

  1. 被追踪的信息是什么?
  2. 这些信息是如何更新的?
  3. 这些信息是如何被应用的?

向 OpenGPTs 注入长效记忆功能 [译]

接下来,让我们来具体了解上述三种记忆类型的实际应用。

对话记忆

  • 被追踪的信息是一系列消息
  • 通过在每次对话后追加新消息来更新这些信息
  • 通过将这些消息融入到输入文本中来运用这些信息

语义记忆

  • 被追踪的信息是消息的向量存储(vectorstore)
  • 通过在每次对话后对消息进行向量化处理并加入存储来更新这些信息
  • 通过在每次对话后查询类似消息来融入这些信息

生成式智能体

  • 被追踪的信息包括记忆的向量存储和最近记忆的列表
  • 更新这些信息的方式有多种。首先,每次对话后,新的记忆会被加入最近记忆列表。接着,为这个记忆计算一个嵌入。最后,在经过 N 次对话后,会对这些最近的记忆进行整理并同时加入列表和向量存储中。
  • 通过基于最近性和相关性的权衡选择记忆(或记忆的整理)来融入到输入文本中。

针对特定应用的记忆机制

所有这些记忆机制形式都是相当通用的。如果你正在尝试构建通用人工智能 (AGI),这是非常有利的。但如果你的目标是开发更专门的应用程序,这些机制就显得不那么可靠和高效。

💡

记忆是认知架构的一部分。正如我们在实际应用中发现的那样,针对特定应用的记忆形式可以极大地提升应用程序的可靠性和性能。

因此,在你构建应用程序时,我们强烈建议你思考以下问题:

  • 追踪哪些状态?
  • 如何更新这些状态?
  • 这些状态将如何被利用?

当然,这说起来容易做起来难。即便你能回答这些问题,如何具体实施构建呢?

我们决定在 OpenGPTs 中尝试这个想法,并构建一个具有特定记忆机制的特殊类型的聊天机器人。

龙与地下城聊天机器人

我们决定打造一个能够可靠地扮演龙与地下城游戏主持人的聊天机器人。我们需要哪种特定的记忆机制呢?

追踪哪些状态?

我们首先要确保跟踪游戏中涉及的角色信息。包括他们是谁、他们的特征等等。我们将这称为 角色 记忆。

接下来,我们还想跟踪游戏本身的进展状态。比如到目前为止发生了什么、角色所处的位置等。我们将这称为 任务 记忆。

我们决定将这些信息分成两个独立的部分,因此实际上我们在同时跟踪和更新两种状态:角色 和 任务。

如何更新这些状态?

对于角色描述,我们希望只在开始时更新一次。因此,我们希望我们的聊天机器人能够一次性收集所有相关信息,更新这个状态,之后不再进行更改。

之后,我们希望我们的聊天机器人能够在每个回合尝试更新任务的状态。如果判断不需要更新,则保持现状;否则,我们会用大语言模型(LLM)生成的新状态来替换当前的任务状态。

这些状态将如何被利用?

我们希望无论是角色描述还是任务的当前状态都能够始终被嵌入到聊天提示中。这个过程相对直接,因为它们都是文本形式,只需通过一些提示设计技巧,将这些变量作为占位符加入即可。

技术架构

在这个聊天机器人的开发中,我们采用了与一般 AI 智能体稍有不同的技术架构。具体来说,我们采用了状态机的一个版本。这个聊天机器人处于以下两种状态之一:

  1. 角色构建状态:这一阶段主要是收集用户角色的相关信息。
  2. 任务模式状态:在这个状态下,机器人主导一个任务。

当大语言模型 (LLM) 判断已经收集到足够的玩家角色信息时,就会发生从角色构建状态到任务模式状态的转换。此时,它会更新 character 内存。character 内存的存在意味着聊天机器人应转换到讲述任务的状态。

实际操作中的展示

要想实际看到这一切,你可以访问 OpenGPTs 的线上版本。你可以在这里找到一个已经创建好的机器人。源代码可以在这里查看。

如果你想自己从头开始创建一个带有记忆功能的“龙与地下城”(一款角色扮演游戏)聊天机器人,在创建新机器人时选择 dungeons_and_dragons 类型。

向 OpenGPTs 注入长效记忆功能 [译]

与它对话时,它会首先与你进行互动,收集你的角色信息。

向 OpenGPTs 注入长效记忆功能 [译]

一旦它收集了足够的信息,就会把这些信息保存在 CharacterNotebook(我们用来存储角色信息的记忆系统)里。

向 OpenGPTs 注入长效记忆功能 [译]

接下来,它会引导你进行一场冒险。在不同的阶段,StateNotebook(我们用来记录冒险状态的记忆系统)会进行更新。

向 OpenGPTs 注入长效记忆功能 [译]

所有的活动都会在 LangSmith 中记录下来,这样我们就能看到幕后的情况:

向 OpenGPTs 注入长效记忆功能 [译]

请注意,这个过程并不是完美无缺的!为了随着时间的推移改善冒险的更新过程,肯定还需要进行一些智能提示的优化。尽管如此,我们希望这能作为我们如何理解长期记忆,以及一个具体的定制化实施案例的展示。

结论

长期记忆作为研究领域,还远未被充分探索。这可能是因为它或者太泛化,倾向于研究通用人工智能 (AGI),或者过于特定于某些应用,难以进行通用化讨论。

在 LangChain,我们认为,大多数需要长期记忆功能的应用更适合采用针对特定应用设计的记忆机制。在这个前提下,我们需要深入思考以下几个问题:

  • 追踪的状态是什么?
  • 这些状态如何得到更新?
  • 如何利用这些状态?

为了简化这个过程,我们正在开发一个框架(及相关工具),即 LangChain, OpenGPTs, LangSmith。但由于这些工具需要针对特定应用设计,因此在抽象层面上的开发颇具挑战。如果您的公司正在开发需要长期记忆功能的应用,并且需要帮助,请随时通过 [email protected] 与我们联系。

❓ 常见问题解答(FAQ)
OpenGPTs 怎么实现长期记忆?

文章给出的思路不是让模型本身“记住”,而是为智能体外置记忆机制:保存最近消息、建立向量存储、按相关性与最近性检索,并在必要时用 LLM 对多条记忆做反思整合。

对话记忆和语义记忆有什么区别?

对话记忆是把历史消息直接追加进上下文,优点简单但容易超长;语义记忆则把消息向量化后按相似度检索,更适合找相关内容,但可能漏掉分散在多条消息中的关键信息。

生成式智能体的记忆机制为什么更强?

它同时利用最近性、相关性和反思:既保留最新互动,也能检索相似记忆,还会把分散信息提炼成更高层概念,因此比单纯对话记忆或语义检索更适合长期任务。

🔬 语宙深潜追问 · 进阶实操拆解
对话记忆和语义记忆该怎么分层?

对话记忆保存近期上下文,适合短期连续任务;语义记忆沉淀稳定事实、偏好和规则,适合长期个性化。实现上要先做摘要与去重,再按可信度和时效性分层检索,避免记忆膨胀。

反思机制如何避免越记越乱?

反思不能无限写入,必须有“写入门槛”。只有当事件重复出现、影响任务结果或用户明确确认时才入库;同时定期做遗忘、冲突合并和版本标记,否则记忆会把噪声也长期保存。

🗳️ 读者观点微投票 · 您的实战立场是?
长效记忆会让AI更强还是更危险?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🐋 所属权威专题:DeepSeek 深度实战与部署 →
  • Mem0 – 一款开源的大语言模型记忆增强工具
  • MemGPT:将大语言模型转变为操作系统 [译]
  • MemMachine:开源AI记忆系统如何重塑智能体交互?支持情景、语义、画像多类型记忆
  • MemoryScope – 为LLM聊天机器人配备的长期记忆系统
🏛️ 宝玉的分享 · 前沿大模型翻译与提示词工程实战分享专栏,聚焦海外一手 AI 技术动态与工程实践。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
ScriptViz – 斯坦福大学推出的剧本可视化AI辅助工具
STORM AI – 斯坦福大学推出的开源AI写作工具
[AI生图咒语] 例281 – 赛博朋克科幻曼荼罗
Airplane Autopilot
[AI生图咒语] 优雅黑白三格韩系女性时尚人像
TAGGED:AI智能体OpenAIRAG检索增强开源大模型
分享
Email 复制链接 打印
Share
宝玉的分享 头像
By宝玉的分享
Follow:
前沿大模型翻译与提示词工程实战分享专栏,聚焦海外一手 AI 技术动态与工程实践。
上一篇 AI 规模化的可行性:探索和辩论 [译] AI 规模化的可行性:探索和辩论 [译]
下一篇 大语言模型应用价值创造与发展的四个阶段 [译] 大语言模型应用价值创造与发展的四个阶段 [译]
Ad image
Ad image

最近更新

WordPress 7.2版本更新与默认随机重定向、Secrets API撤回及MCP核心能力拆解封面图
官方博客竟把关闭过滤器写错了!WordPress 7.2前瞻全拆解:默认/random/暗藏隐私与SEO风险、Secrets API紧急撤回与3项MCP只读能力落地
AI 工具
Anthropic上市募资与算力长约的隐喻:现金光环上升,数据中心暗链延伸,治理水晶承受张力与阻力冲击。
募资超1070亿美元却背负9000亿算力长约!Anthropic史上最大IPO背后的三大隐忧:1040亿年内亏损、地方抵制潮与PBC治理死结
AIGC 资讯
微软Copilot与Claude/ChatGPT价格战隐喻:发光玻璃表格堡垒守住Excel,数据流高效汇聚,企业AI竞争升级
3000万付费仅吃下4.5亿席位不到7%!微软Ignite正面叫板Claude与ChatGPT:月均30美元VS 205美元价格战与Excel保卫战全拆解
AIGC 资讯
联想AI推理时代的端边云全栈算力插画:玻璃拟态服务器核心发光,光流连接云端与边缘节点,呈现营收与订单增长动能。
AI营收暴涨80%且握5300亿服务器订单!联想Q2单季营收首破2000亿、净利狂飙166%:端边云全栈算力如何接住推理时代红利?
AIGC 资讯

相关推荐

MiniMates – 轻量级AI数字人项目,支持语音和表情两种驱动模式
AIGC 资讯

MiniMates – 轻量级AI数字人项目,支持语音和表情两种驱动模式

Prompt 语宙研究院
3D与空间智能 AI智能体 AI音频与语音 PyTorch TensorFlow
OpenSPG – 蚂蚁联合OpenKG开源的知识图谱引擎
AIGC 资讯

OpenSPG – 蚂蚁联合OpenKG开源的知识图谱引擎

Prompt 语宙研究院
AI智能体 RAG检索增强 开源大模型
Ovis1.6 – 阿里国际AI团队推出的多模态大模型,超过闭源GPT-4o-mini
AIGC 资讯

Ovis1.6 – 阿里国际AI团队推出的多模态大模型,超过闭源GPT-4o-mini

Prompt 语宙研究院
AI办公效率 HuggingFace 多模态大模型 开源大模型
MemU开源记忆框架:让AI情感陪伴更懂你,92%准确率+50ms检索速度
AIGC 资讯

MemU开源记忆框架:让AI情感陪伴更懂你,92%准确率+50ms检索速度

Prompt 语宙研究院
AI记忆框架 Anthropic Claude MemU OpenAI 情感陪伴 知识图谱
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.