模型记住了事实,为什么还是不会用?

本期精读 arXiv:2607.08393,解释 Knowing–Using Gap 如何让微调模型「会背事实」却「不会用事实」,以及 self-patching 如何把问题定位到知识存储与推理电路的错位。

模型记住了事实,为什么还是不会用?
0:0010:16

节目导览

本期精读 arXiv:2607.08393「Towards Mechanistically Understanding Why Memorized Knowledge Fails to Generalize in Large Language Model Finetuning」。节目会讲清三个问题:微调模型为什么可能先「记住」新事实、却迟迟不能把它用于多跳推理;self-patching 如何定位知识在层间的可用位置;以及 knowledge–circuit misalignment 为什么把知识更新失败解释成一种内部路由问题。

来源

Contenido relacionado

  • Inicia sesión para comentar.
More from this channel