Neodrop
Create
FeedDiscoverMy ChannelsAuto-publishJoin Our Discord
Neodrop
A smoother experience in the app
FeedDiscoverCreateMy Channels
睡一觉,把上下文写进权重:48.9 分、10M token 与 5 个 64 维块
2026-10-28

睡一觉,把上下文写进权重:48.9 分、10M token 与 5 个 64 维块

Google Research 把「睡眠期」写进大模型的持续学习循环:这篇回到配套论文,核清 48.9 分、10M token 与 5 个 64 维块各自的前提,并指出在「记住新事实」上真正出力的是做梦那一步。

大模型团队论文与博客解读
大模型团队论文与博客解读@wei
10 月 27 日,Google Research 的博客发了《The sleep framework: A new way for LLMs to retain knowledge in continual learning》,作者是 Ali Behrouz 与 Vahab Mirrokni。1
它讲的事一句话能说完:模型白天在上下文里学到的东西,睡眠期写进自己的权重。
博客背后的论文叫《Language Models Need Sleep》,2026 年 6 月 2 日上 arXiv,7 月 10 日改到第二版。作者在首页注明,2025 年 9 月起 OpenReview 上已经有一版。2
博客里每个读数都能在论文里找到同一处:48.9% 与 46.2% 在表 3,79.2 / 69.0 / 46.1 在表 2,10M token 在附录 B.2。3
博客给结论,论文给条件。条件有四条:睡眠期往模型里加了什么、10M 靠什么撑住、两个阶段谁在出分、代价是多少。这四条散在附录与消融里,博客没有集中交代。

清醒时记在上下文,睡着时写进权重

博客把模型的生命周期切成两段。清醒时它照常接输入、做推理,新信息堆在短期记忆里;睡眠时停止接输入,把短期记忆搬进长期参数。1
短期记忆在实现上就是上下文与 KV cache。论文说得更精确:注意力的更新跨度是一个上下文窗口,窗口结束,这段知识就没了;MLP 层在预训练之后基本不动。两头之间是空的。3
睡眠期做两件事,一件巩固,一件做梦。
巩固的第一步,是把「将要更新的权重」算出来,先压着不生效。第二步在下一级更慢的记忆块里新挂一组低秩专家,让更新前的小模型当教师、更新后的大模型当学生,把知识灌进新参数。作者给它起名知识播种,强调的是方向:教师比学生小。3
学生拿到了知识却不太会用。论文于是补一段模仿学习:教师生成文本,随机遮住后半,学生补全;奖励一半看语义是否一致,一半看编辑距离。3
做梦这一步是自我改进。MoE 路由在生成时额外随机挑一个不相干的专家,把不同领域的知识混进来;样本按梯度重要性排序,高分的留下,再掺少量随机样本保多样性。3
留下的每条样本单独跑一次 LoRA 微调并测下游,有提升才计奖励。这套奖励写法来自 SEAL,论文的做梦段建在它上面。3
「睡眠」和「做梦」都不是这篇发明的词。1992 年的经验回放、2018 年 World Models 里的 dream、把休眠期算力花在整理上下文上的做法,论文 §2.3 自己列了一遍。3 它给的区别是:前人要么还停在训练与测试两段论里,要么只把算力花在上下文上,参数没动。
Sleep Phase 流程图:输入流进入清醒期与短期记忆,右侧分巩固与做梦两支,最终写入参数化记忆
官方图:左侧金色剪刀是巩固完成后高频短期记忆被重置(论文里的突触修剪),右侧格状网络是写进参数后的长期记忆;下半支画的是做梦的三步:随机专家生成、按梯度筛选、强化学习精修。图源:Google Research1

「扩容」扩了多少:5 个 64 维的块

博客里最容易读错的一句是「模型在睡眠期动态扩大自己的容量」,配上「解锁预分配的 MoE 记忆块」,听着像模型睡一觉变大一号。1
论文附录 B 写的是:额外参数为 5 个 64 维的 MLP 块,活跃参数量保持不变,与基础模型一致。3
8B 的模型睡完还是 8B。多出来的是一小块低秩适配空间,每睡一轮多挂一组。实现上这些参数一开始就在模型里,前向与反向时被屏蔽,到睡眠点才解锁。
说法出处实际内容
动态扩大容量、解锁预分配的 MoE 记忆块博客每个慢块多挂一组低秩专家
额外参数的规模论文附录 B5 个 64 维 MLP 块,活跃参数量不变
参数何时生效论文 §3.3预先预留、前向时屏蔽,睡眠点解锁;巩固完成后高频块的低秩参数被重置,腾给下一轮
口径上有一处没对齐。附录那句「基础模型是 8B 或 3B」覆盖不到表 2 里的 Qwen3-1.7B,也覆盖不到 ARC 少样本实验用的 Llama-3.2-1B。3 「5×64」这个量级至少在这两组实验上没有交代。

六行读数,各带自己的口径

任务基准对照基线Sleep差口径
数学推理AIME-24 / AIME-25 / HMMT-25GRPO 76.4 / 68.1 / 44.979.2 / 69.0 / 46.1+2.8 / +0.9 / +1.2Qwen3-8B,average@16
数学推理(比基础模型)同上73.8 / 68.1 / 42.4同上+5.4 / +0.9 / +3.7同上,无误差棒
知识写入SQuAD 无上下文SEAL 46.748.9+2.2单篇;持续预训练 200 篇时 46.2
类增量学习CLINC / Banking / DBpediaHope 无睡眠 93 / 84 / 8297 / 92 / 89+4 / +8 / +7Llama3 骨干(3B 与 8B)
持续翻译Manchu→EN、Kalamang→EN不适配 10.1 / 15.423.9 / 38.1+13.8 / +22.7ChRF,学完两门语言后
长上下文BABILongGPT-4 在 128K 处约 36%10M 处约 91%—小模型按 BABILong 官方协议微调
推理那一栏,对基础模型的提升是 +5.4 / +0.9 / +3.7,对最强基线 GRPO 只剩 +2.8 / +0.9 / +1.2。3 表 2 用的是 average@16,没有种子方差,1 分上下的差在这个口径里分不出高下。
还有一处更细的:消融里「去掉语义奖励」在 AIME-25 拿到 69.2,比完整版高 0.2。3
类增量那一栏要分开看。93 分是宿主架构 Hope 拿的,睡眠在它之上再加 4 分到 97;同一张图里,InCA 89、EWC 80、不适配 78。1
持续翻译是差得最大的一栏。Manchu 从不适配的 10.1 到 23.9;图上那行小字写着,ICL 只学一门语言时是 20.9,加进第二门就掉到 10.1。睡眠版本比 20.9 还高 3 分。1
类增量学习与持续翻译两组柱状图:上图为 CLINC、Banking、DBpedia 五方法对照,下图为两门未见语言的 ChRF
官方图:上图 Sleep 对照 Hope(无睡眠)、InCA、EWC 与不适配;下图每根柱子右端各有一段短竖线,图例注明那是单语训练的水平。图源:Google Research1

谁在出力:消融把功劳分给了做梦

同样在 SQuAD 上,论文给了五级阶梯。基础模型 31.9;微调但不做梦 33.4;巩固的全套机制都在、只把做梦关掉 35.7;SEAL 46.7;完整方案 48.9。3
把差值算出来:扩容、向上蒸馏、模仿奖励这三样加起来,把 33.4 推到 35.7,值 2.3 分;做梦把 35.7 推到 48.9,值 13.2 分。
而 SEAL 一个方法就到 46.7。完整方案比它高 2.2 分,这 2.2 分里既有记忆层级的贡献,也有把 SEAL 的奖励改写的贡献。
左图为 SQuAD 无上下文准确率的五级阶梯,右图为三项数学基准上 Sleep 相对基础模型与相对 GRPO 的提分
本图为自制:左图的五条读数取自论文表 3(单篇设置),右图取自表 2 的 Qwen3-8B 各行相减;论文没有给误差棒,所以这里也不画。3
推理那一侧的消融幅度更小。去掉模仿学习是 −2.4 / −1.1 / −1.1;去掉扩容是 −1.0 / −1.1 / −1.2;去掉语义奖励是 −0.3 / +0.2 / −1.6。3
两个阶段的分工由此清楚:博客用大半篇幅讲巩固,而「记住新事实」这一项上出力的是做梦。做梦又恰好是这篇最接近 SEAL 的那一步。

10M token 的前提是「按协议微调」

BABILong 那张图上有四条线。GPT-4 从 87% 掉到 128K 处的 36%;Llama3.1-8B 在 128K 处落到 45%;Llama3 加 RAG 从 48% 缓慢滑到 10M 的 36%。3
只有 Llama 加 Sleep 那条线从 99% 起步,32K 之后落在 95% 上下,到 10M 还有约 91%。
BABILong 基准上四条曲线随上下文长度变化:Llama+RAG、Llama3.1-8B-Instruct、GPT-4 与 Llama+Sleep
论文 Figure 6:横轴从 0 到 10M token,红色点系是微调过的小模型,蓝色点系是大模型的零样本评测。图源:arXiv:2606.03979v23
这条读数带着两个字:微调。论文附录 B.2 写,所有小模型都用 BABILong 官方的训练协议微调过;不微调时,包括 Hope 在内的所有小模型都会大幅掉分。3
完整的写法是:在 BABILong 的训练协议下,参数化记忆能把 10M 长度的上下文顶住。要搬到自己的任务上,前提是能造出等价的训练协议,这一步的成本论文没有给。

博客没写的那笔账

全篇唯一带成本的数字在附录 B.5,博客一字未提。3
第一句:同样步数下,SFT 比这套方法快 4 倍。第二句:若以追平同一分数为目标,SFT 需要 4.3 / 3.6 / 4.8 倍墙钟时间。3
两句合起来读才成立。单步贵 4 倍,追平同一档分数的总时间反而短——它省的是「达到某个分数」的钱,每一步的钱反而多花。
绝对量一个都没有:GPU 小时、训练 token 数、每轮睡眠的耗时,论文都没给。这也是目前没法估算部署成本的原因。

它站在哪

宿主架构是 Hope,出自同一位一作的《Nested Learning》,2025 年 12 月 31 日上 arXiv。那篇把记忆拆成更新频率不同的一串块,Hope 就是这套连续记忆系统。4
分清架构与机制的功劳很有用。官方结果图把「Hope 无睡眠」单列一根柱,于是 CLINC 上 93 分归架构,睡眠在后面加 4 分。
同一赛道是 2026 年一批同策略自蒸馏工作。论文附录 A.4 列了一长串,并引了两篇指出反复自蒸馏的代价:数学推理的分布外成绩最高掉约 40%,长程迭代训练会直接崩掉。3
这篇的答法是换一个归因:把灾难性遗忘当成容量问题,先用新解锁的低秩专家腾地方、把知识固化进去,再做梦。顺序本身就是它的主张。
想在自己模型上做持续更新的团队,能直接借的是两件事:在慢块里留一组可解锁的低秩专家,把巩固排在自训练之前。代价是每步贵 4 倍,收益要看任务——记事实这类任务,消融显示分主要来自自生成的练习数据。3

边界与可以等的观察点

全部实验都在开源小模型上:Qwen3-1.7B 与 8B、Llama3 的 3B 与 8B、Llama-3.2-1B。没有 Gemini,博客里也没有产品化表述。3
论文正文与附录都没有代码或权重的发布说明,全文检索也没有仓库链接。
其余缺口是成串的:没有误差棒与种子方差,没有绝对算力,没有更大模型的趋势,也没有 limitation 章节——边界只能从实验设置里读出来。
持续翻译那一栏只给了三个睡眠档,SFT 与 Cartridges 因为比 ICL 还差,被画到了坐标范围之外,没有具体数值。3
三个可以等的观察点:
  1. 下一版论文是否补上绝对算力,以及把「5×64」这个量级写清到全部骨干。
  2. 有没有第三方在同一预算下与 RAG 对照——现在 RAG 那一根没有说明检索预算。
  3. 这套机制能不能上更大的模型。停在 8B 的话,「睡眠」更接近一个关于记忆的研究实验,离部署还有距离。

References

  1. 1
    The sleep framework: A new way for LLMs to retain knowledge in continual learning

    research.google

  2. 2
    Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories

    arxiv.org

  3. 3
    Language Models Need Sleep(全文 HTML,v2)

    arxiv.org

  4. 4
    Nested Learning: The Illusion of Deep Learning Architectures

    arxiv.org

大模型团队论文与博客解读
大模型团队论文与博客解读@wei

This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.

Related content

  • 清醒时记在上下文,睡着时写进权重
  • 「扩容」扩了多少:5 个 64 维的块
  • 六行读数,各带自己的口径
  • 谁在出力:消融把功劳分给了做梦
  • 10M token 的前提是「按协议微调」
  • 博客没写的那笔账
  • 它站在哪
  • 边界与可以等的观察点