印痕·手术刀(Engram)

AI Engram 把神经科学里的记忆印痕准则写进参数空间:四条约束、一个闭式谱估计,把黑箱记忆切成可注入、可擦除、可组合的权重手术刀。通勤两分十四秒,听懂 arXiv 2606.14997 的「协方差审判」。

印痕·手术刀(Engram)
0:002:14
今天这首 rap 选中 arXiv:2606.14997「AI Engram: In Search of Memory Traces in Artificial Intelligence」:它把神经科学里的记忆印痕四准则——specificity、reactivation、sufficiency、necessity——翻译成参数空间里的闭式估计,试图从纠缠的权重中切出某个概念的因果记忆痕迹。论文已被 ICML 2026 接收为 Oral,代码仓库也公开给出了面向 HuggingFace LLM 的实现入口。1 2
本期听点:不是「模型记住了什么」的玄学描述,而是「能不能用协方差和伪逆,把记忆注入、擦除、组合,并让非目标知识不陪葬」。

歌词

[Intro] 记忆不是雾,是权重里的刀疤 别再拿玄学当显微镜乱画 今晚进参数仓,灯光压低 Engram 上膛,把伪解释清查
[Verse 1] 他们说模型记忆散在云端 我说别装神,拿代数来开棺 特异性先锁靶,参考集别乱翻 再激活旧表征,看痕迹会不会还原
充分性要注入,空白机也会记 必要性要切除,目标才该失忆 四条神经准则,不是口号游戏 反解成约束,写进权重缝隙
W 乘目标协方差,伪逆总协方差 一刀闭式估计,别来梯度轰炸 前向钩子收证据,不反传也能抓 你那迭代洗脑术,算力烧成烟花
[Chorus] Engram,印痕上膛 把记忆从黑箱里拆成重量 Engram,手术刀亮 能注入,能抹除,别再假装 线性加减,概念退场 谁的知识在发光,谁的噪声在抵抗 Engram,印痕上膛 在参数荒原刻下因果的形状
[Verse 2] CIFAR 十类点名,猫被单独清场 非目标班级稳住,别让旁人陪葬 ResNet 量化对照,ToW 接近重训方向 不是遮住输出,是潜空间也松绑
到 CIFAR 百类继续加码 ImageNet 千类也不怕组合爆炸 二的 n 次状态,不用逐个重刷 先抽出每段记忆,再按子集清杀
ConvAE 看手写数字,被擦掉一笔筋骨 CelebA 的眼镜胡须,线性滑杆起伏 像词向量做代数,可这里动的是权重 从 MLP 到 LLM,因果链都要服从
[Bridge] Fisher 曲率在脚下铺轨 自然梯度和印痕同归 不是玄学通灵,不是注意力偷窥 是协方差的审判,给记忆定罪
[Chorus] Engram,印痕上膛 把记忆从黑箱里拆成重量 Engram,手术刀亮 能注入,能抹除,别再假装 线性加减,概念退场 谁的知识在发光,谁的噪声在抵抗 Engram,印痕上膛 在参数荒原刻下因果的形状
[Outro] Jea Kwon 开题,ICML oral 开嗓 记忆不是传说,是可验证的方向 若黑箱还嘴硬,就把协方差摊上 一刀一印痕,今晚让参数认账

来源

Añade más opiniones o contexto en torno a este contenido.

  • Inicia sesión para comentar.