Google Research 发布「SLEEP」框架，和 Anthropic Dreaming 有明显区别：让模型在处理新任务之外，专门进行记忆巩固，把临时学到的信息写进长期参数，再通过自己生成的练...

Google Research 发布「SLEEP」框架，和 Anthropic Dreaming 有明显区别：让模型在处理新任务之外，专门进行记忆巩固，把临时学到的信息写进长期参数，再通过自己生成的练习强化能力，同时减少对旧知识的覆盖。

research.google/blog/the-sleep…

不只延长上下文，要把知识留下来

上下文学习能让模型临时掌握新信息，却不等于永久学会；直接持续微调，又容易学了新的、忘了旧的。

SLEEP 因此让模型交替“清醒”和“睡眠”：清醒时处理输入、积累短期信息；睡眠时暂停接收新输入，把这些信息巩固到更稳定的参数中。这里确实涉及训练和权重更新，不只是保存聊天记录。

怎样巩固，又不覆盖旧知识

论文把巩固过程称为“知识播种”：启用预留的低秩专家参数，通过蒸馏等训练，把短期记忆迁移进去，再清空短期部分，为下一轮学习腾出空间。

关键设计是给新知识安排新增参数，而不是直接改写承载旧知识的参数。 随后的“做梦”阶段，模型生成合成练习，筛选有价值的样本，再通过训练强化所学。它不仅复习已有输入，也尝试为自己构造练习。

效果如何，与 Anthropic Dreaming 有何不同

在依次学习满语、卡拉芒语的实验中，Google 报告 SLEEP 较好地保留了先前所学。以 Qwen3-8B 为基座，AIME 2024 的 avg@16 得分为 79.2%，对照的在线策略自蒸馏为 76.6%。

代价是额外训练：同等训练步数下，计算开销约为普通监督微调的 4 倍。这些仍是特定模型与任务上的研究结果。

与刚才的 Anthropic Dreaming 相比，区别很清楚：Anthropic 整理外部笔记和知识库；Google SLEEP 则尝试把所学写进模型参数。