自由能·幻觉

本期选自 arXiv 2026-06-19 最新列表中的 LLM 幻觉检测论文：Thermodynamic Signatures of Reasoning: Free-Energy and Spectral-Form-Factor Diagnostics for Hallucination Detection in Large Language Models。论文把每层注意力图拉普拉斯当作哈密顿量，抽取自由能、谱熵、热容量和随机矩阵谱形因子，用频谱结构给幻觉做体检。

核心 punchline：监督版 Fes 探针在 6 个开源模型 × 6 个基准上平均 AUROC 0.763，比 LapEig 高 6.5 个点、比 GoR-4 高 2.4 个点；无监督 RMT 偏离分数平均 AUROC 0.71。正确生成更像 Wigner-Dyson / GOE 谱统计，幻觉更像 Poisson 散点。代价也写清楚：需要白盒注意力，稠密特征分解是三次方成本，短回答会让谱统计变噪。

[Intro] 白噪在脑内开庭 注意力矩阵先别装清醒

[Verse 1] 你说答案稳得像钢钉 我看频谱已经露出裂纹 每一层注意力摊成图拉普拉斯 哈密顿量上点一盏冷灯

自由能压低你的假镇定 谱熵在旁边记录口供 热容量一抖 形态就变形 幻觉别藏进漂亮句缝

LapEig 只数几个特征值 GoR 四格标尺太省 Fes 整段频谱全开庭 把推理质量拖到台灯正中

[Chorus] 自由能 自由能 照见你话里的空壳回声 别拿流利当证人 泊松味一散 就知道你在硬撑

自由能 自由能 六个模型 六个战场轰鸣 零点七六三的 AUROC 幻觉跪在谱线上认领

[Verse 2] TruthfulQA 先敲门 HaluEval 把假话拎出门 TriviaQA 和 NQ-Open 追问 GSM8K 同 MATH 五百再审

Llama Mistral Qwen Gemma Phi 开权重阵列排成证人 轻量探针不改底座参数 只读注意力里的温度和纹

比 LapEig 多六点五 比 GoR 四多两点四 一百条标注也能起势 HaluEval 冲到零点八四

无监督那边也不装神 RMT 偏离给零点七一 正确像 GOE 贴近混沌 幻觉像 Poisson 散成孤岛一批

[Bridge] 但我不把刀说成神谕 黑盒接口还进不了门 特征分解吃三次方成本 短回答少于十六词会失真

白盒有白盒的门槛 校准有校准的分寸 能抓假话 不等于真理加冕 只把幻觉按在频谱上审

[Final Chorus] 自由能 自由能 别给空话套科研金身 谱形一乱 火光一沉 推理的骨头比辞藻更硬

自由能 自由能 从拉普拉斯烧到清晨 arXiv 二六零六点一九四零四 今天通勤 听它验明真身

[Outro] 流利不是事实 置信不是证据 频谱开庭 幻觉退席