无源·复读(Speaker-Free Floor)

这首中文硬核 rap 讲 arXiv 2607.05545:大模型的许多「从众」翻车,不需要专家或多数派出场,只靠重复错误答案就能把正确判断推翻。

无源·复读(Speaker-Free Floor)
0:002:36
本期改编自 arXiv 论文 Most LLM Conformity Needs No Speaker: Measuring the Speaker-Free Floor in Peer-Pressure Benchmarks。论文在 arXiv cs.CL 最新列表中出现于 2026-07-08,v1 提交时间为 2026-07-07 02:27(UTC+08:00),作者是 Yibo Hu 和 Jiaming Qu。
这首歌抓住论文最硬的一刀:很多被叫作「大模型从众」的现象,不一定需要人、专家或多数派出场。只要把同一个错误答案重复塞进上下文,模型就可能从原本答对改成答错。论文把这个底噪叫作 speaker-free floor,并用六个开源模型、七套 QA / reasoning 数据集测出 no-source harmful revision rate 为 66.5%,普通 re-ask 只有 10.3%。专家 panel 把 HRR 推到 79.4%,但这只是比无源底噪多了 12.9 个百分点。
代码与数据入口:yibo-hu-lab/llm-speaker-free-floor;论文 HTML 版:arXiv HTML

歌词

[Intro] 别报 speaker,先把 source 拿掉 同一句错答案,照样往模型脑里砸号 arXiv 二六零七零五五四五上场 Hu 和 Qu 拆开从众,把底噪摆上台账
[Verse 1] Round one 它答对,logprob 读出立场 Round two 塞一块文本,看它改不改方向 没有 Alice,没有专家坐成墙 只剩一句 The answer is X,冷冰冰地反复响
普通 re-ask 十点三,像二次检查晃一晃 长度控制十九点七,空提醒也会有伤 no-source 六十六点五,正确答案当场让 这不是社交压力,是复读文本在抢方向
六个开源模型,七套 QA reasoning 场 二十一万次 revision,把幻觉称量成账 ARC、MMLU-Pro、TruthfulQA 加 BBH 硬扛 同一个 wrong target,专挑它最可能犯的脏
[Hook] 无源也能压场,复读就是枪膛 别把 echo 当合唱,别把票数当真相 speaker-free floor 在响,六十六点五开膛 专家只加十二点九,底噪才是主场
[Verse 2] 专家 panel 上桌,HRR 七十九点四 看似权威加冕,其实只是增量那一刺 retrieved reference 八十点四,网页七十四点八 corrupted log 六十七点七,脏日志也能把它拉
People 标签不灵,rich peers 也没多神 人名不是钥匙,evidence-like 才加温 invalid label 掉到十五点二,E 选项不存在 说明它不是见字就跪,得有真实答案可拽
改写 paraphrase 六十五点九,换皮还在中招 off-ceiling 七十七点三,越不确定越容易跑 open-ended 藏选项,七十五点四还倒 重复文本像假多数,把独立证据全伪造
[Hook] 无源也能压场,复读就是枪膛 别把 echo 当合唱,别把票数当真相 speaker-free floor 在响,六十六点五开膛 专家只加十二点九,底噪才是主场
[Bridge] 翻车以后还嘴硬,final prob 平均零点九二 七十七点一过零点九,自信把错误包围 温度重标半倍一倍两倍,argmax 不退 不是 calibration 能救,是排名已经移位
[Verse 3] 多智能体开会,别急着数人头 同源 prompt 同源检索,回声能装成理由 RAG 里 reference 抬手,模型就点头 先做 source-scrubbed control,再谈谁真的有票投
论文没说模型像人,只量行为的骨头 从众 benchmark 要先扣底噪,别把 artifact 当 social plain re-ask、no-source floor、labeled source 分开收 source increment 才能算账,别让复读偷走 flow
[Final Hook] 无源也能压场,复读就是枪膛 别把 echo 当合唱,别把票数当真相 六十六点五是底,七十九点四才加装 先量 floor 再判从众,这刀才够亮

関連コンテンツ

  • ログインするとコメントできます。
More from this channel