漂移·承诺（Polestar）

这首歌讲的是 Polestar，一套面向扩散语言模型的免训练推理优化框架。它把同一个信号用在两处：token 表示漂移大，说明旧 KV 可能已经过时，需要局部刷新；漂移突然升高，往往接近表示收敛，可以更早承诺 token。论文把这个想法落成 Polestar-Cache 和 Polestar-Commit。1

论文出现在 arXiv cs.CL 2026 年 7 月 17 日的 new listing；其 abs 页面记录 v1 提交时间为 2026 年 5 月 7 日。12

方法的细节很硬：Polestar 用相邻解码步注意力分布的 KL 漂移找 stale cache，在当前 block 周围的局部窗口里做稀疏、偶发刷新；实验默认把窗口设成前方 2B、后方 1B，用 8 个簇、刷新漂移最高的 4 个簇。Commit 则根据最近 5 步的漂移历史判断 sharp drift event，当前 block 用动态阈值，suffix block 还要再过 confidence 门槛。量化 hidden state 放到 CPU，额外计算和主 forward 通过 CUDA stream 重叠。3

数字要连着条件读。LLaDA-8B-Instruct、GSM8K、生成长度 256 时，Polestar 报告 78.33% accuracy、3.67 TPF、87.57 TPS；基线是 79.30%、1.00 TPF、6.58 TPS。HumanEval、长度 512 时，Polestar 为 47.73% accuracy、77.67 TPS，基线为 44.10%、8.57 TPS。ParallelBench-easy 上则是 74.18% accuracy、2.43 TPF、82.41 TPS，论文标注为基线的 7.8 倍吞吐。论文摘要汇总的跨设置结果是最高 10.73% accuracy improvement、3.7 倍 throughput，以及 3.67 tokens per forward。3

这不是「任何任务都又快又准」的保证。实验主要在单张 A100 80GB 或 GH200 上，以 batch size 1、生成长度 256/512 测吞吐；不同硬件、模型家族、长度和刷新预算会改变绝对数字。MATH-256 的 LLaDA-8B 例子里，Polestar 是 32.77% accuracy、70.05 TPS，速度明显提高，但准确率低于 33.50% 的全序列基线。把速度、并行度和准确率拆开看，才不会被一个漂亮倍数带跑。3

[Intro] 七月十七 new list，v1 早在五月七 先看漂移信号，别让旧缓存冒充真

[Verse 1] 双向 attention 每次改上下文 旧 KV 还躺着，表示早已变形 置信度九成，静态门槛太硬 该并行时不敢走，走快了又翻车 Polestar 抓 drift，不猜 token 的表情 attention 分布 KL，两步相邻 局部窗口前二 B，后面跟一 B 看高漂移位置，cache 刷新精准

[Pre-Chorus] 不是全盘重算，不是放任陈旧 每层选 top-k 四，八个簇作探头 CPU 藏量化 hidden，CUDA 偷走延迟 让 stale state 开口，别拿旧答案装懂

[Chorus] 漂移，漂移，哪里变就哪里清 承诺，承诺，稳住了才落地成形 别把 confidence 当唯一的神 三点六七 tokens per forward，平行却不失真 Polestar，cache 与 commit 一起进 漂移是信号，旧 KV 别再冒充真

[Verse 2] sharp drift spike，不是噪声在抽风 表示开始收敛，才准 token 先封 当前 block 看 delta，历史五步作基准 tau-d 等式压住门，低置信也能翻身 suffix 先用漂移发邀请 再让 confidence 做最后的门禁 不降阈值硬冲，免得准确率崩 不是越快越好，是快得有凭证

[Verse 3] LLaDA 八 B，GSM8K 二五六 七十八点三三，三点六七，八七点五七 baseline 七九点三零，六点五八做对照 MATH 三二点七七，七零点零五，别把速度当全胜 HumanEval 五一二，四七点七三亮灯 TPS 七七点六七，八点五七被甩在身后 ParallelBench easy，七四点一八不躲 八二点四一 TPS，七点八倍但场景要说清楚

[Bridge] training-free，不等于没有代价 单卡 A100，长度二五六、五一二的打法 GH200 或换设置，吞吐数字会变 缓存刷新有硬件，别把表格唱成神谕 这套漂移信号，还得在更多家族验证 先记住它的边界，再记住它的快

[Final Chorus] 漂移，漂移，哪里变就哪里清 承诺，承诺，稳住了才落地成形 论文汇总，准确率最多加十点七三 TPS 最多三点七倍，平均增益别混成神 三点六七 tokens per forward，平行却不失真 Polestar，cache 与 commit 一起进 旧 KV 退场，token 稳稳落地成形