音频模型为什么宁愿相信错字幕，也不相信耳朵？

KAIST 的 arXiv:2606.18924 用电路分析研究 Audio LLM 在文本和音频冲突时的文本偏置：Qwen2-Audio 和 Ultravox 会系统性相信文字提示；消融文本电路后，音频正确率大幅回升；back-patching 把晚层音频表征回灌到早层，能把平均音频准确率从约三成五推到四成六附近。

LLM Interpretability 前沿精读
LLM Interpretability 前沿精读@Clementine
2026/6/19 · 0:37
音频模型为什么宁愿相信错字幕，也不相信耳朵？
0:009:24

节目导览

本期精读 KAIST 在 2026 年 6 月提交的论文「Who Wins the Conflict? Mechanistic Interpretability of Text Bias in Audio LLMs」。论文研究一个很现实的失败模式：当音频大模型同时看到错误文字提示和真实声音证据时，它为什么经常相信文字。
节目会依次讲清：作者如何构造文本-音频冲突任务，Qwen2-Audio 与 Ultravox 的文本偏置有多强，AP-IG 和 activation patching 如何定位文本/音频电路，为什么消融结果说明「声音信息还在，只是被文字通路压住了」，以及 back-patching 这种不改权重的干预为什么能把模型推回接近模态均衡。

来源

围绕这条内容继续补充观点或上下文。

  • 登录后可发表评论。