Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: 谷歌下一次搜索更新或不再公告也不碰索引!拆解Google Research“睡眠学习”架构:MoE知识播种与参数记忆静默改写
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
Google Research 睡眠学习框架概念图:短时动态信息流向大模型长期参数网络巩固
Prompt 语宙 > 强化 AI 学习 > 谷歌下一次搜索更新或不再公告也不碰索引!拆解Google Research“睡眠学习”架构:MoE知识播种与参数记忆静默改写
强化 AI 学习

谷歌下一次搜索更新或不再公告也不碰索引!拆解Google Research“睡眠学习”架构:MoE知识播种与参数记忆静默改写

Prompt 语宙研究院
最近更新: 2026年11月22日 上午10:08
GEO算法演进 Google Research MoE模型记忆 持续学习 睡眠学习架构
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • Wake-Sleep双相架构把“清醒接收、睡眠巩固”拆开,缓解静态知识截止与灾难性遗忘。
  • 睡眠期用MoE低秩专家做知识播种,再靠随机路由“做梦”生成高质量合成样本。
  • 当前仅在Qwen 1.7B/8B与结构化文档上验证,尚非Gemini线上生产系统。

💡 站外导读:传统大模型一旦结束预训练就会被锁死在固定的知识截止日期。Google Research 近日公布的《Sleep Framework》打破了这一僵局:模型在“清醒期”用快记忆接纳新输入,并在离线“睡眠期”借助 MoE 低秩专家扩展与自我合成样本的“做梦”循环,将新事实静默固化进长期权重。搜索专家 Duane Forrester 警告,这预示着一种不再公告、也不触碰网页索引的全新谷歌更新正在成型。

一、打破静态知识截止墙:Wake-Sleep 双相周期与两年研发演进脉络

长期以来,生产级大语言模型始终受困于“静态截止日期”与“灾难性遗忘”的双重悖论:一旦模型训练完成并上线,新事实若仅靠上下文学习(ICL)塞进 Context Window,对话结束即被抛弃;若试图通过常规微调(SFT)直接改写模型权重,又会迅速冲毁早期掌握的通用推理与多语言能力。针对这一结构性难题,Google Research 研究员 Ali Behrouz 与 Vahab Mirrokni 联合学术界团队正式公开了历时约两年打磨的“睡眠框架(Sleep Framework)”,该脉络依次从 Titans 记忆机制演进至 2025 年 11 月的 Nested Learning(嵌套学习)与 Hope 连续记忆系统(Continuum Memory System),最终在《Sleep Framework》中补全了不同更新频率记忆块之间的定时迁移调度。

阅读目录
  • 一、打破静态知识截止墙:Wake-Sleep 双相周期与两年研发演进脉络
  • 二、解剖睡眠期双支路引擎:知识播种(Knowledge Seeding)与做梦精调
  • 三、“被模型学进去”取代“被索引”:四大实测基准与品牌认知冲击
  • 四、应对无公告参数更新与巩固窗口:企业与 GEO 团队七步实战防线
      • 📝 站长洞察 (Editor’s Insight)

需要澄清的是,尽管论文使用了“睡眠(Sleep)”“做梦(Dreaming)”与“自我改进”等神经科学比喻,且部分社交传播将其误读为“AI 脱离人类规则自主演化”,但 Google Research 在官方博文中明确强调:整个系统完全运行在固定模型架构与人类预先定义的训练规则之内。模型并未擅自修改自身底层代码,而是将传统的“训练—推理”割裂生命周期改造为交替循环的双相状态:在主动清醒期(Wake Phase),模型正常接收并处理外部输入,将临时信息暂存于高更新频率的短时记忆组件中;进入离线睡眠期(Sleep Phase)后,系统暂停接收外部请求,把内部算力重定向到参数巩固与自我提纯。

二、解剖睡眠期双支路引擎:知识播种(Knowledge Seeding)与做梦精调

在睡眠阶段,Google Research 设计了两道环环相扣的技术管线,使模型既能吸收新文档中的长尾事实,又不会覆盖旧知识。第一道管线称为“记忆巩固(Memory Consolidation)”:依托 Mixture of Experts(MoE)与 Hope 分层架构,系统在睡眠时动态解锁一批预先留置的休眠低秩专家(Low-rank Experts),并将其接入更新节奏更慢的稳定记忆块中;随后通过“知识播种(Knowledge Seeding)”将短时高频记忆中的脆弱痕迹向上蒸馏进新参数,该过程融合了广义知识蒸馏(GKD)中的在线同策略蒸馏(On-policy distillation)与基于强化学习的模仿学习(LTI,结合语义匹配与 Levenshtein 编辑距离打分),确保新记忆贴合模型自身推理分布;巩固完成后,系统执行“突触修剪(Synaptic Pruning)”,直接重置临时高频参数以释放下次清醒期的接纳空间。

第二道管线则是模拟人类快速眼动期(REM)的“做梦(Dreaming)”机制:在生成自训练合成样本时,MoE 路由器会刻意随机激活非常规专家组合,迫使模型把原本隔离在不同领域专家里的知识跨域混编,主动发掘潜在关联;接着通过一套基于梯度的筛选机制过滤掉低质噪声,仅保留对降低全局误差最具价值的“高质量梦境样本”,并在其上执行微调与下游验证。搜索架构师 Duane Forrester 同时指出了该研究的现实边界:目前实验仅在 1.7B 与 8B 开源 Qwen 基座上验证(非线上 Gemini 生产模型),新知识输入源为结构化文档而非用户日常聊天记录,且论文未披露单次睡眠周期的计算成本,尚待外部团队独立复现。

Google Research Sleep Framework 双阶段架构图:Wake 清醒快记忆与 Sleep 离线巩固及做梦自迭代流程
Google Research Sleep Framework 双阶段架构图:Wake 清醒快记忆与 Sleep 离线巩固及做梦自迭代流程
记忆与更新范式 知识载体与生命周期 遗忘风险与时效特性 搜索/GEO 表现与实测指标
传统预训练 + SFT 微调 全量静态权重;受限于固定训练截止日 增量微调极易引发灾难性遗忘,新旧能力互相覆盖 先验置信度高但难以修复;SQuAD/CPT 及多语连续学习明显掉点
上下文学习 / RAG 检索 临时 Context 窗口或外部网页索引;会话结束即丢失 实时抓新无须改写权重,但依赖在线检索且易受切片噪声干扰 结果以引用形式输出、易随下次抓取替换;BABILong 受限于窗口长度
Google Sleep Framework Wake 快记忆块 + Sleep MoE 低秩专家慢记忆(Hope 架构) Knowledge Seeding 写入新专家并修剪临时态,近零遗忘但存在巩固窗口 BABILong 10M Token、SQuAD 48.9%、AIME24 79.2%,超越 SEAL/GRPO/OPSD
Dreaming 梦境自迭代阶段 随机路由 MoE 专家生成的跨域合成样本 + 梯度过滤 + RL 无外部页面改动也会触发内部权重表征漂移 错误一旦固化后 Machine Unlearning 极难精准剔除,必须抢在巩固前纠偏
传统微调、RAG 检索与 Google Research Sleep Framework 记忆机制及基准表现对照表

三、“被模型学进去”取代“被索引”:四大实测基准与品牌认知冲击

尽管仍处于前沿研究阶段,Sleep Framework 交出的四组实测成绩已经足以震动大模型与搜索架构界:在 Manchu(满语)与 Kalamang 等未见语种的连续翻译评测中,传统 ICL、Cartridges 与 SFT 均在多阶段学习后出现严重遗忘,而睡眠模型几乎保持了零性能滑坡;在 BABILong 长上下文记忆测试中,模型成功通过睡眠压缩将长程记忆扩展至 1000 万(10M)Token,表现全面超越 GPT-4 与 Titans;在 SQuAD 与持续预训练(CPT)事实融合评测中,睡眠方法分别拿下 48.9% 与 46.2%,显著击败基础模型、SFT 与自适语言模型 SEAL;在 8B 基座的数学推理测试中,其在 AIME 24、AIME 25 与 HMMT 25 分别取得 79.2%、69.0% 与 46.1% 的成绩,稳居 SFT、GRPO 与同策略自蒸馏(OPSD)之上。

将这一架构投射到搜索引擎与 GEO(生成式引擎优化)领域,Duane Forrester 提出了一个极具颠覆性的判断:过去业内已经习惯了谷歌每年数千次不公告微调(Danny Sullivan 曾披露单年实验测试超 80 万次)以及 Retrieval(RAG 检索)每天静默抓取网页;但 Sleep Framework 把“静默更新”下沉到了模型参数层本身。网页被检索只意味着事实会被带引号引用且随时可替换,而经由睡眠巩固写入权重的事物,则会成为模型脱口而出的“先验常识(Parametric Belief)”。更棘手的是三项结构性衍生后果:第一,基于梯度的筛选天然偏爱多源高度一致的陈述,一旦企业官网与旧黄页目录出现参数矛盾,错误版本只要更“自洽”就可能胜出;第二,Dreaming 跨域混编会导致外部网页一字未改、竞品毫无动作,模型关于品牌的回答却自行发生“无因漂移”;第三,信息进入快记忆到下一次巩固之间存在一个未知长度的“巩固窗口(Consolidation Window)”,一旦错漏被焊死进长期参数,后续想要精准抹除单一错误事实(Machine Unlearning)在学术界至今仍是未解难题。

Sleep Framework 与 ICL、SFT、GRPO、OPSD 及 SEAL 在连续学习与数学推理上的基准对比图
Sleep Framework 与 ICL、SFT、GRPO、OPSD 及 SEAL 在连续学习与数学推理上的基准对比图

四、应对无公告参数更新与巩固窗口:企业与 GEO 团队七步实战防线

针对模型未来可能在版本大更之间静默改写长期记忆的趋势,Duane Forrester 建议技术营销与 AI 搜索团队立即摒弃“围着某次核心算法更新日做事故复盘”的旧习惯,转而部署七项长期防线。首先,分平台审计模型的“纯参数库存”:在不触发联网检索的前提下,定期向主流大模型提问并记录其仅凭内部权重给出的品牌描述,这份清单就是模型在“做梦”阶段反复排练的原始池,其中的错误事实极易被越练越深。其次,发布格式高度规范的“权威事实页(Canonical Fact Pages)”:鉴于睡眠框架在实验中以独立文档为知识入口,为每一组实体事实编写去营销化、带明确日期且自洽的声明式页面,是让知识播种管线准确吸纳的最优载体。

第三至五步则聚焦一致性清理与监测转型:彻底拉齐自有站点矩阵与第三方行业目录中的公司简介与产品参数冲突,确保正确版本在梯度筛选中具备最高多源一致性;趁该技术尚在从论文走向工程化之前,立即追溯并修正全网已知源头错误,并用无检索探针二次确认模型答案是否真的改写;用周期性趋势采样取代“Core Update 事件溯源”,重点追踪答案漂移的起始时间窗口而非寻找某次官方公告。最后,从监控报表中彻底淘汰“静态训练截止日期”字段,密切盯防 Gemini 或 Vertex 文档中任何宣称“模型可在版本间持续学习、从企业文档中长期汲取知识”的新特性描述——一旦上线,它必然以产品功能之名悄悄落地,而非算法更新公告。

📝 站长洞察 (Editor’s Insight)

过去二十年 SEO 行业最大的安全感,来自于“只要源站页面改对了、等爬虫重新抓取索引,排名和摘要就能纠偏”。但 Google Research 这套结合 Hope 连续记忆、MoE 低秩知识播种与随机路由“做梦”机制的睡眠学习框架,正在把搜索竞争从可逆的“索引层”推向极难逆转的“参数巩固层”。一旦大模型开始在夜间静默把多源高度一致的陈述焊进慢更新权重,你在官网角落留着过时价格、或在第三方老旧黄页里没来得及清理的错误参数,都有可能在梯度过滤和梦境排练中被反复加固为“模型深信不疑的事实”。抢在持续学习正式普及前建立全网实体的单一事实源,比追逐任何短期技巧都更致命。

❓ 常见问题解答(FAQ)
Google Sleep Framework到底解决什么问题?

它主要解决大模型知识截止和灾难性遗忘:先在清醒期把新信息放入快记忆,再在离线睡眠期把有效知识巩固进长期权重,尽量保留旧能力同时吸收新事实。

Sleep Framework里的知识播种是什么意思?

知识播种是睡眠期的巩固步骤:通过MoE和Hope架构解锁低秩专家,把短时记忆中的新知识蒸馏进新参数,并在完成后修剪临时高频参数,释放后续更新空间。

这个框架能直接用于谷歌搜索更新吗?

不能直接下结论。文章提到的实验只在开源Qwen基座和结构化文档上验证,且未披露单次睡眠成本;它更像是未来可能影响搜索/知识更新范式的研究方向。

📊 图中两组实验结果汇总(AI 视觉结构化提取)

核心发现:Sleep 方法在两类持续学习任务上均取得最优或接近最优结果,尤其在类增量学习中相较无适配和其他基线有明显提升。

实验类别任务/数据集Sleep(ours)对照方法最佳值No adaptation
Class-incremental learningCLINC9793(Hope, no sleep)78
Class-incremental learningBanking9284(Hope, no sleep)72
Class-incremental learningDBpedia8982(Hope, no sleep)70
Continual translationManchu → English23.922.5(Sleep-2)10.1
Continual translationKalamang → English (MTOB)38.137.2(Sleep-2)15.4
🔬 语宙深潜追问 · 进阶实操拆解
MoE知识播种怎么接入现有检索系统?

先把新知识写入快记忆或增量缓存,再用路由器把样本分发给少量专家做低秩更新;上线时只替换相关专家权重,避免全量重训。关键是做好版本隔离、回滚和召回评测。

做梦合成样本如何避免灾难性遗忘?

合成样本要混入旧知识锚点和难例回放,保持新旧分布平衡;同时限制每轮更新步长,并用验证集监控遗忘率。实战里最好配合蒸馏或正则约束,防止专家过拟合新数据。

🗳️ 读者观点微投票 · 您的实战立场是?
你更看好“睡眠学习”改写搜索更新吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
  • 破解大模型边学边忘宿疾!谷歌重磅发布《Language Models Need Sleep》睡眠框架:首创“清醒做工+梦境整合”机制、MoE记忆块与千万Token零遗忘全景架构深度拆解
  • 2800亿MoE仅激活140亿且原生百万长上下文!百度重磅开源文心5.5 Flash Base:首创Latent-Gated稀疏注意力、ECHO序列外推与全基准同尺寸SOTA全景架构深度拆解
  • 首创全网无全注意力层与单流狂飙2122Token!NaiveAI重磅开源309B MoE大模型Naive-N0.5-Flash:SWA+DSA混合稀疏、原生1M上下文与AI研发AI全景实测深度拆解
  • LongMemEval 94.6% 登顶碾压 Zep!Vectorize.io 开源仿生记忆引擎 Hindsight 全拆解:增量信念修正、四路RRF召回与0.8B小模型降本
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
如何在 Mac 上免费使用 cli 或 python 进行 OCR?[译]
OpenAI 和 Elon Musk [译]
多模态时空一致性:JSON 驱动的视觉分镜控制、Cref 向量重投影与 I2V 物理运动提示词动态插值实战
生成式 AI 面临的抄袭问题 —— Midjourney 和 DALL-E 3 的实验揭示了版权方面的难题 [译]
给新手软件开发者的建议——从那些“老司机”的建议中挑选 [译]
TAGGED:GEO算法演进Google ResearchMoE模型记忆持续学习睡眠学习架构
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 2026年Q4智能体电商交易闭环演进与OpenAI、Google及零售巨头布局示意图 AI导流转化率暴涨90%却仅三成企业接得住结账!2026黑五智能体电商前线拆解:巨头闭环与五步工程自查
下一篇 GitHub Copilot 正式全面开放 Google Gemini 4 Neon 模型选择器官方主视觉图 性价比逼近Carbon但更少乱改代码!GitHub Copilot全面上线Gemini 4 Neon:7大端面与用量计费全拆解
Ad image
Ad image

最近更新

Latent Space 对话 Black Forest Labs 核心创始人 Andreas Blattmann 与 Dustin Podell:从 FLUX 到视觉智能与世界动作模型
视觉智能为什么不能只靠静态图片?对话Black Forest Labs创始人:FLUX 3音画联合训练、扩散与自回归之争及世界动作模型全拆解
强化 AI 学习
Google 官方详解网站迁移至 CDN 如何避免爬虫流量激增打崩源站与误封 Googlebot 导致搜索掉收录
刚切上CDN源站反被爬虫打崩?Google官方拆解迁移翻车悖论:冷缓存雪崩、验证码误杀与预热止血指南
AI 工具
GitHub 正式上线 Repository insights 页面,集中展示 Copilot 代码审查采纳率与评论分类统计结果
AI代码审查到底有没有被采纳?GitHub上线Repository insights与repos-1-day API:四维信号、力度趋势及统计陷阱全拆解
AI 工具
Forrester AI 颠覆评估模型 17 大技术与服务品类分布图:呈现受颠覆、中立、争夺与加速四类市场象限及细分赛道数量
80%技术市场面临AI重塑冲击!Forrester拆解200+细分赛道颠覆矩阵:四大象限与Top 20合同采购谈判实战
最新趋势

相关推荐

吴恩达:AI 智能体工作流引领人工智能新趋势 [译]
强化 AI 学习

吴恩达:AI 智能体工作流引领人工智能新趋势 [译]

宝玉的分享
AI智能体 AI绘画提示词 AI编程 OpenAI
llamafile 的运行情况
强化 AI 学习

llamafile:让大众轻松拥有大语言模型 (LLMs),甚至在您的个人电脑上 [译]

宝玉的分享
AI智能体 ChatGPT Llama OpenAI
什么是“专家混合模型”(Mixture-of-Experts,MoE)? [译]
强化 AI 学习

什么是“专家混合模型”(Mixture-of-Experts,MoE)? [译]

宝玉的分享
AI智能体 Llama 大模型微调 开源大模型
借助开源大语言模型,无需联网在本机实现和游戏 NPC 自由对话 [译]
强化 AI 学习

借助开源大语言模型,无需联网在本机实现和游戏 NPC 自由对话 [译]

宝玉的分享
AI音频与语音 Claude Llama OpenAI
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.