July 5, 2026 · 12:31 AM

电路会补位,消融还可信吗?

本期精读 arXiv:2607.01940:Conditional Co-Ablation 用条件共消融找回 transformer circuit 中被自我修复隐藏的 backup heads。

电路会补位,消融还可信吗?
0:0010:56

节目导览

本期精读 arXiv:2607.01940「Conditional Co-Ablation: Recovering Self-Repair Backups in Transformer Circuits」。论文讨论一个容易被忽视的问题:在 transformer circuit 里,主组件被消融后,备用 head 可能接管计算,让单点消融低估主路径,也看不见备用路径。
节目会讲清三件事:CoAx 为什么把单点消融改成条件共消融;它如何在 GPT-2-small 的 IOI circuit 上找回 self-repair backup heads;以及这对 attribution、capability knockout 和结构化 pruning 意味着什么。

来源

More from this channel

Related content

  • Sign in to comment.