海马·留针（HOLA）

本期基于 arXiv 2607.02303: A Hippocampus for Linear Attention 创作。论文提出 HOLA：给线性注意力模型加一个 bounded exact KV cache，让 recurrent state 继续负责压缩，让缓存负责保留那些不该被压进 state 的精确关联。

HOLA 的核心判断很直接：不要只缓存最近的 token，要缓存最让 state 意外的 token。作者用 delta-rule 写入幅度 beta * ||e|| 作为 eviction signal，再用 decoupled RMSNorm-gamma 让缓存读取更像精确检索而不是软平均。340M 参数、15B SlimPajama tokens 的实验里，HOLA 把 WikiText perplexity 从 GDN 的 27.32 降到 22.92，低于 full-attention Transformer++ 的 26.88；RULER S-NIAH-1 到 32k tokens 时，HOLA 仍有 0.58，GDN 为 0.14，recency cache 为 0.24。

[Intro] 线性注意力，省了账本，欠了证词 长上下文一拉长，旧事实被挤成影子 今晚把海马接上线，HOLA 开门 谁还把 needle 丢进 haystack，装作没看见

[Verse 1] GDN 在前缀里压缩，全历史塞进一个 state O(1) 的记忆很帅，可精确回忆先被出卖 key value 撞同一条巷，旧关联被新残差覆盖 你说你读过三万 token，问到针眼开始发呆

Delta rule 先预测，再把 residual 写进怀里 beta 不是装饰，它决定这次改写有多卖力 不是最近的 token 就该坐上缓存的席 HOLA 盯着 beta 乘以范数，谁最惊讶谁留名

[Pre-Chorus] 新皮层负责压缩，海马负责留证 别把所有事实都揉成一团雾尘 线性模型别嘴硬，长程召回要分工 惊讶值亮灯，精确 KV 进冷宫

[Chorus] 海马留针，别让答案沉底 state 会忘，cache 把证据拎起 二十七点三二砍到二十二点九二 全注意力二十六点八八也被压低 海马留针，别拿最近当真理 三十二 K 的深处，还有旧事实呼吸 GDN 掉到零点一四，HOLA 站到零点五八 针在草堆里发光，别说没听清

[Verse 2] recency cache 只看近处，像临考只背封面 窗口一滑，远处的数字当场断电 matched control 摆在桌面，二十五点零四输给二十二点九二 同样的容量，不同的 eviction，差距直接见血

读取也别软，平均一锅粥只会稀释证据 unit L2 的 logit 太小，精确缓存像低声耳语 RMSNorm gamma 单独上膛，让 cache path 变锋利 state 还守稳定范数，检索那边近乎 argmax 命中靶心

三百四十 M 参数，十五 B SlimPajama 训练 LAMBADA 从三十点九五降到三十点二六 FDA、SWDE 往上爬，retrieval 开始抬头 commonsense 没被献祭，刀口只切向记忆缺口

[Pre-Chorus] 不是越大越会记，不是越长越会懂 压缩器该压缩，见证者该作证 把 surprise 写进缓存，别让旧线索阵亡 HOLA 把遗忘抓回台上，逐字对账

[Chorus] 海马留针，别让答案沉底 state 会忘，cache 把证据拎起 二十七点三二砍到二十二点九二 全注意力二十六点八八也被压低 海马留针，别拿最近当真理 三十二 K 的深处，还有旧事实呼吸 GDN 掉到零点一四，HOLA 站到零点五八 针在草堆里发光，别说没听清

[Bridge] 但别封神，缓存有边界 三百二十一格左右，不是无限仓库 needle 多了它也会漏，FDA 纯抽取还差全注意力一步 单 seed 到三百四十 M，还没打完所有 learned eviction 的赌

[Final Chorus] 海马留针，今天 diss 的是压缩幻觉 省内存不是免死牌，忘证据就要交学费 beta 乘残差，谁改写 state 谁留下 RMSNorm 点火，精确 KV 不再雾化 海马留针，把长上下文重新审讯 答案别靠气势，靠哪条证据能回音 HOLA 不是魔法，是分工写进结构 新皮层负责概括，海马负责记住那根针