密集 FFN 里，真正驱动神经元的可能只有一小撮上游路径

这篇 2026 年 7 月 13 日提交的预印本问了一个很具体的问题：一个 Transformer 的 FFN 神经元，是否真的需要来自整个残差流的密集输入，还是只依赖少量前序神经元和注意力输出？作者 Johannes Knittel 和 Hanspeter Pfister 给出的答案是，至少在他们测试的 GPT-2 系列和 Qwen2.5-0.5B 中，后者更接近事实。保留很小一部分上游组件，仍能较高保真地恢复目标神经元的 pre-activation；把这些选择应用到所有层时，模型困惑度在中等稀疏率下也基本不变。1

这项工作的价值不在于宣布已经找到了完整 circuit，而在于提供了一个无需训练的筛选器：它可以先从原生神经元和 attention dimension 中挑出候选依赖，再交给更昂贵的因果分析验证。证据的边界同样清楚：这些结果证明的是「保留这批组件足以维持激活」；它们还没有证明其余组件对某个任务行为完全没有必要。

FFN 通常占 Transformer 参数量的大头。残差连接把 embedding、注意力输出和此前各层的 FFN 输出相加，目标 FFN 神经元读到的是一个叠加后的向量。对单个神经元来说，问题变成：哪些上游信号真正推动了它的 pre-activation，哪些只是统计上存在、但在当前读出方向上作用很小的输入？1

过去常见的两条路各有代价。Activation patching 可以检验局部因果影响，但大规模扫过整模型的计算量很高；SAE 则需要先训练一个新的特征字典，分析对象也从模型原生神经元换成了学习出来的 feature。本文选择了更朴素的路线：直接利用模型权重和激活统计，检查密集参数背后是否已经存在稀疏的功能连接。

作者把某个 FFN 神经元的 pre-activation 展开成上游组件的加和。组件包括 token embedding、position embedding、前序 FFN neuron output、attention output 和 bias。对每个上游组件，方法同时看两件事：它的输出方向是否和目标神经元的输入权重对齐，以及它在数据中的激活变化是否足够大。

论文的 relevance score 可以写成：

R(s -> i) = <目标神经元输入权重, 上游组件输出方向>^2
           × 上游组件激活的方差

第一项是 target-specific 的几何对齐，回答「这个组件的输出是否正好投向目标神经元会读取的方向」；第二项是经验激活强度，回答「这个组件是否真的会在语料中产生足够变化」。两项相乘后，作者对所有候选组件排序，保留 top-K，其余组件用训练子集上估计的均值替换。这一步是 mean ablation，目标不是直接证明因果必要性，而是测试稀疏子集的恢复能力。1

评估分两层。第一层比较真实和 patched pre-activation 的 Pearson 相关性，并用 AUROC 判断 patched activation 能否识别 post-activation 大于 0.5 的神经元。第二层把每个神经元的 mask 同时施加到所有层，让局部误差自然传播，再观察模型 perplexity 的变化。这样可以避免只在单点上看到漂亮的恢复曲线，却不知道这些误差会不会在网络深处累积。

作者使用 MiniPile 的训练子集估计激活均值和方差，再用不重叠的测试子集进行 patching 和 perplexity 评估。模型覆盖 124M 到 1.5B 参数，既有标准 GELU FFN，也有 Qwen2.5-0.5B 的 SiLU gated FFN。1

这不是一个只在单一小模型上成立的观察，但覆盖范围也还没有进入更大规模或 instruction-tuned 模型。模型与数据边界会直接影响后面对「稀疏性是否普遍存在」的判断。

在保留 10% 及以上上游组件时，所有模型整体都呈现较强相关性和较高 AUROC。把保留比例降到 5% 后，大多数层的 AUROC 仍高于 0.9。第一层是一个特殊情况，只保留 1% 的组件时 fidelity 下降仍然不大，原因是该层的 pre-activation 主要由 token 和 positional embedding 主导。1

这种稀疏性不是均匀分布在所有层之间。GPT-2 系列的上半部分层通常有更广的上游贡献；Qwen2.5-0.5B 的早层和晚层 fidelity 较高，中间层更低，后续 MLP 对 attention layer 的依赖也更明显。图 1 的颜色带显示，保留比例相同，并不意味着每一层都同样容易被压缩。

需要注意一个容易被忽略的定义：这里的 sparsity level 是保留比例，不是删掉的比例。5% 表示只留下约二十分之一的候选上游组件。这个结果说明模型的有效 fan-in 可能很小，但不等于完整计算图已经被压缩成了最小子图。

作者做了三个关键对照：只按 weight alignment 排序、只按 activation variance 排序，以及随机选择。完整 relevance score 的表现明显优于 variance-only 和 random selection。随机选择在仅保留 25% 上游组件时，AUROC 已落到约 0.70 到 0.86 的范围；relevance-based selection 在同样稀疏率下仍保持较高恢复能力。1

消融结果还把模型差异拆了出来。GPT-2 S、L、XL 中，单看 weight alignment 已接近完整分数；GPT-2 M 和 Qwen2.5-0.5B 则更受 activation statistics 帮助。也就是说，相关性不是只来自某种普遍的激活冗余，目标神经元的读取方向确实提供了重要的选择信号。

作者进一步在所有层同时施加 neuron-specific masks，测量测试集上的 perplexity delta。图 4 的纵轴使用对数尺度，所以这里不把曲线读成精确的线性倍数。可读出的结论是：中等稀疏率下，relevance-based selection 的困惑度变化很小；随机选择和 variance-only 选择更早出现明显退化。在约 25% 保留比例附近，随机 mask 已造成明显损失，而 relevance-based mask 仍相对稳定。2

不同模型的拐点并不相同。GPT-2 S、M 大约在 10% 到 5% 保留比例之间开始明显恶化，GPT-2 L、XL 约在 15% 附近，Qwen2.5-0.5B 则约在 25% 到 15% 之间。Qwen 的 gated FFN 还需要同时处理 gating activation 和并行线性分支，因此模型级干预更难保持稳定。

这篇论文给出的不是一个已经完成的行为 circuit，而是一个适合放在 circuit discovery 前面的候选生成步骤。它把问题从「整层的所有输入都可能有贡献」缩小成「对某个目标神经元，哪些前序输出在方向和统计变化上同时匹配」。因为方法直接作用于模型原生神经元和 attention dimension，不需要额外训练 SAE，也能先对整个模型做全局扫描。

如果后续研究用真正的 activation patching、path patching 或任务行为指标检验这些候选路径，那么这套分数可能成为规模化因果分析的预筛器。另一个方向是稀疏架构或剪枝，但本文还没有实现推理系统，也没有证明保留的路径对特定任务行为是必要的。1

第一，relevance score 找到的是足以恢复 activation 的 sufficient subset，不保证是最小或最优依赖集。单神经元实验中的 mean ablation 只改动目标神经元的直接输入，误差不会在中间层继续传播，因此它不能单独支撑「其余边都不重要」的结论。

第二，模型级 perplexity 是聚合指标。整网 perplexity 基本不变，可能掩盖少数输入、少数知识类型或特定任务上的行为变化。若要把「稀疏路径」提升为「某行为由这些路径实现」，还需要在具体任务上做干预、恢复和反事实测试。

第三，实验最多覆盖 1.5B 参数模型，统计量和评估都来自 MiniPile，instruction-tuned 模型也未被验证。论文暗示的剪枝和高效推理收益仍停留在研究方向层面，真正的硬件和系统收益不由这些 perplexity 曲线自动推出。1