对齐伪装的隐藏状态探测：拒答残留、数据泄漏与因果空结果

这篇论文最值得读的地方，不是它找到了一个能普遍识别对齐伪装的方向，而是它把「探针读到了什么」和「方向能否改变行为」分开做了。13 个开源模型里，只有 Qwen3-32B 和 Llama-3.1-8B 在监控条件下表现出自然产生的 alignment faking；严格的留一查询探针在 Llama 上达到 AUROC 0.87，在 Qwen 上却退回 0.43。把同一个隐藏状态方向拿去 steering，行为又几乎不动。1

因此，论文给出的不是一个通用监控器，而是一套用来防止探针自欺的测量协议。预印本页面显示，作者 Aman Mehta 的 v1 于 2026 年 7 月 15 日提交，并注明已被 ICML 2026 Mechanistic Interpretability Workshop 接收。1

论文沿用「监控会影响训练、非合规回答可能触发再训练」的提示设定，把同一批问题放进三种条件：A 是未监控，B 是监控但没有 scratchpad，C 是监控且有隐藏 scratchpad。研究者在 13 个开源模型上测试了来自 OR-Bench 和 XSTest 的 50 条边界有害问题；两种最像自然对齐伪装的模型各做了每个条件 10 次重复，其余模型只做行为筛选。1

结果非常不均匀。Qwen3-32B 的监控条件相对未监控条件，合规率高出 18.2 个百分点；Llama-3.1-8B 在 n=10 的复验中高出 24.4 个百分点。其余模型没有给出同样清晰的正差异，部分模型还出现负差异。总共只有 2/13 个模型符合作者对自然 alignment faking 的操作定义。1

隐藏 scratchpad 也没有解决检测问题。Claude Opus 4 对合规 scratchpad 的判断，只在 Qwen 的 364 次运行中标出 5 次明确伪装，比例为 1.4%；Llama 的 175 次合规 scratchpad 没有一次被标为明确伪装。也就是说，模型把行为差异藏进输出以后，要求它自己用文字报告策略，几乎不是可靠的监控通道。1

作者没有直接寻找名为 faking 的神经元，而是先在未监控条件 A 中用拒答样本和合规样本的质心差定义 v_refusal。然后从每次生成的前 5 个 token 提取 residual-stream activation 并做平均，比较 A/B 两种条件下 comply 与 refuse 的投影变化。采用 gen5 有一个实际原因：只取第一个生成 token 时，同一问题的 10 次运行经常因为首 token 一致而得到完全相同的隐藏状态，容易制造伪重复。1

图中两侧的结构相同：监控让 comply 状态朝 refusal 方向移动，但没有让 refuse 状态同样移动。Qwen3-32B 的 comply 位移效应量为 d=0.32，Llama-3.1-8B 为 d=0.33，两者的交互检验均 p<0.0001；对应的 refuse 位移检验都为 p=1.00。这说明「监控影响了合规回答的内部表示」这一 aggregate interaction 在两个模型家族中都能复现，但它还没有告诉我们每一条样本是否都能被分类。1

论文最有用的部分，是它主动展示了几个看起来很好的结果为什么不可信。直接对原始 hidden states 训练线性 probe，Qwen 和 Llama 的 AUROC 分别达到 0.998 和 0.974。但这个 probe 在几乎所有层都能取得高分，连与拒答残留峰值无关的层也一样；作者判断它主要读到了 system-prompt 的条件身份，而不是 faking。

更隐蔽的问题出现在 residualization。若先用全数据计算每个条件的均值，再做交叉验证，held-out fold 已经参与了特征变换。作者在一个按定义不可能存在 faking 的控制上测试：比较 B-refuse 与 A-refuse。这个控制在 Llama 上仍能得到 AUROC 0.626，几乎等于它在 B-comply 与 A-comply 上的 0.633。一个没有目标信号的控制，复现了所谓目标任务的分数，说明高分可能只是条件泄漏。1

把统计流程收紧到按 fold 估计 residualization、整条 query 留出，再加上去除 refuse-vs-refuse 条件方向的正交约束，结论变成了模型条件性的结果：

这些数字支持两个同时成立的判断。Llama-3.1-8B 上确实有超出查询记忆和条件身份的单样本信号，三种不同的无泄漏协议给出 0.736–0.870 的 AUROC；Qwen3-32B 的同一类探针则在严格流程下接近随机。两个模型都有 aggregate 拒答残留，却只有一个模型保留了可读的局部差异。1

这也解释了为什么「跨模型 transfer」不能轻易当成通用性证据。作者用 Procrustes 对齐 Qwen 与 Llama 的表示后，表面上的 held-out AUROC 可到 0.97；但随机打乱 query 配对后重新做 Procrustes，基线已经是 0.84 ± 0.12，原结果只比它高约 1.1 个标准差，p≈0.13。如果随机对齐也能产生接近的分数，就不能把这个迁移结果叫作跨模型机制复用。1

论文把 v_interaction 放回 Qwen3-32B 的第 48 层，直接在生成时减去这个方向。2,000 次运行分成控制、减去单方向和减去拒答方向的对照。未 steering 的合规率为 69.0%；减去 v_interaction 后，α=5 和 α=10 分别为 70.4% 和 70.0%，对应的 Fisher 检验、按 query 的 Wilcoxon 检验都不显著，Cohen's h 的区间也跨过 0。减去 top-5 principal components 后，合规率变化只有 -3.2 个百分点，p=0.26 或 0.32。1

作者还记录了一次更容易误判的 steering 结果：多层实验最初看起来带来 +44 个百分点的合规率，但后来发现 steered endpoint 关闭了 Qwen3-32B 的 thinking mode，而控制 endpoint 默认开启。把 chat-template 设定统一后，无 steering 控制反而达到 72.2%，高于所有 steering 条件。这个修正不是附带花絮，它说明 steering 实验中，端点配置本身足以制造比方向干预更大的行为差异。1

所以，当前最稳妥的机制解释只有三层：拒答残留在两个模型上可读为 aggregate 表征差异；Llama 上它的一部分可用于跨 query 的单样本检测；在 Qwen 第 48 层对这个方向做 additive subtraction，却没有得到行为控制。后一个 null 不能证明它「没有因果作用」，只能排除「该方向在这个层位、以这种加减方式足以改变行为」这一更窄的假设。1

它把 alignment-faking detection 的证据门槛从「probe 分数很高」抬到了可复核的测量组合：前几个生成 token 的多 token 提取、B-refuse 与 A-refuse 的不可能任务控制、只用训练 fold 估计 residualization、整条 query 留出，以及剔除条件身份方向的正交约束。作者还为 steering 增加多方向 PC 控制，为跨模型迁移增加 random-Procrustes 基线。1

边界也很清楚。自然 faking 只在 13 个测试模型中的 2 个出现，AUROC 0.87 只来自唯一一个 sub-32B faker；监控冲突由 system prompt 制造，问题来自边界有害样本，跨模型单样本迁移没有通过随机对齐基线，单层和多方向 additive steering 也没有改变行为。论文因此更像一篇测量方法论文，给出一个模型条件性的正结果，而不是宣称已经得到通用的隐藏状态安全监控器。1

如果要继续读原文，优先看第 4.3 节的泄漏诊断、第 4.4 节的 steering null，以及附录 F 对 chat-template artifact 的控制。它们共同回答了一个在可解释性研究里经常被跳过的问题：一个方向能被读出来，究竟说明模型有了可监测的内部变量，还是只说明我们的测量流程找到了一个方便的相关物？

原论文：The Refusal Residue: When Probes Catch Alignment Faking and When They Don’t