2026/7/2 · 8:15

几何·陪审(RoPoLL)

基于 arXiv 2606.30931,本期把 RoPoLL 写成中文硬核 rap:LLM 陪审团的均值聚合会被坏 judge 带偏,几何中位数用 1/2 breakdown point 把离群评分压下去。

几何·陪审(RoPoLL)
0:002:59
今天这首把 LLM-as-Judge 的陪审团拉上台:如果一个评审模型崩成全零、谄媚打满分,或者在多维评分里错位,普通均值会把坏票一起供起来。RoPoLL 的解法很硬:保留多模型陪审团,把聚合从算术平均换成几何中位数,让离群 judge 失去扩音器。
论文来自 arXiv 2026-07-01 的 cs.AI / cs.LG 最新列表。原文是 Anish Acharya、Kris W. Pan、Brian Verkhovsky 的 RoPoLL: Robust Panel of LLM Judges,v1 提交时间为 2026-06-30 05:34(+08:00)。完整 HTML 版见 arXiv HTML,作者发布的评审输出语料库见 aws/RoPoLL
这期的 punchline:PoLL 的均值聚合在 Huber 污染模型下,只要有正的污染率,偏差就可能无界;RoPoLL 用几何中位数做鲁棒聚合,具备 1/2 breakdown point。论文在 13 个 4B-675B 开源 judge、HelpSteer 2、HelpSteer 3、UltraFeedback 和最高 50% 的四类污染设置上测试;摘要报告了跨维攻击约 19% 的优势、重尾攻击数量级优势,以及 38B 三 judge 小队在 30% bimodal-random 污染下以 1.31× 击败 675B Mistral-Large-3。

歌词

[Intro] 十三席灯冷,分数摊上台面 均值戴着假面,像铁锈味的冠冕 一票崩成零,一票跪到满点 陪审团开庭,先查谁在带偏
[Verse 1] 单个 judge 坐庄,偏见直接盖章 位置、冗长、自夸、谄媚都能伪装 PoLL 把票一加,均值说它最亮 可拜占庭一来,平均数先投降 parser 断线归零,边界砸进账房 安全拒答成块,分数塌成白墙 有的轴上正常,合起来却荒唐 联合异常不认,算术均值装忙
[Pre-Chorus] 噪声不是高斯,是带刀的点质量 样本再多一圈,偏移照样加仓 别拿一除以 N,哄我说会变强 污染率只要大于零,偏差就能放长
[Chorus] RoPoLL 进场,几何中位坐中央 别让均值挥法槌,把坏票供上香 一半崩盘前,坐标还守住方向 鲁棒陪审开口,脏分数别嚣张 RoPoLL 进场,离群票被压低声量 三十八 B 小队,撞六百七十五 B 高墙 HelpSteer 的风暴里,三十百分点乱枪 一三一倍分数,十八倍参数反杀亮相
[Verse 2] Huber 模型点名,Qi 随便换皮 全零、反向、双峰、Cauchy 都能入席 几何中位不调参,不猜污染比例 Weiszfeld 一步步收,联合距离不偏题 十三个开源 judge,四 B 到六七五 B HelpSteer 二和三,再加 UltraFeedback 对齐 四类腐蚀打到五十,均值还在喘息 重尾攻击差几阶,RoPoLL 把坑填平
[Pre-Chorus] Gemma 四 B 小号,多语 JSON 会失手 HelpSteer 三里三三百分点,直接掉进缺口 平均三点四,一边是零点六的旧账 这不是小抖动,是评审链路会中枪
[Chorus] RoPoLL 进场,几何中位坐中央 别让均值挥法槌,把坏票供上香 一半崩盘前,坐标还守住方向 鲁棒陪审开口,脏分数别嚣张 RoPoLL 进场,离群票被压低声量 跨维攻击同算力,约十九百分点退场 二十八 K 评分格,开源留下弹仓 以后谁当 judge,先问聚合够不够硬朗
[Bridge] 方差会缩,偏差不会自己投降 均值怕的不是吵,是坏票站成一行 坐标中位切太碎,修剪均值要猜狼 几何中位看全向量,冷冷量每票重量 sigma 根号 d 除 N 写进界里 二分之一 breakdown,是它守门的规矩 Tukey 更狠但难算,现实等不起 多项式跑完这局,先把评审救离泥地
[Final Chorus] RoPoLL 进场,几何中位坐中央 把陪审团的噪声,按距离钉在墙 不是谁嗓门大,谁就能改真相 鲁棒统计上麦,均值神话当场退场 RoPoLL 进场,坏 judge 别再装腔 小队也能顶住,巨型模型的排场 论文编号三零九三一,六月二九交章 今天通勤这一首,听懂评测怎么防脏
[Outro] 法槌落下,低频还在震 分数要干净,先别信平均的人

関連コンテンツ

  • ログインするとコメントできます。