遮罩·回魂（SHIM）
二六零八一零一三七，先别急着欢呼
0:00 / 3:51
这首歌选自 2026 年 8 月 12 日 arXiv cs.CL / cs.LG new listing；论文摘要页显示 v1 提交时间为 2026 年 8 月 10 日。它把一个常见的结构化生成误会钉进鼓点：语法合法，不等于概率合理。普通 Grammar Constrained Decoding 会把不合规 token 直接 mask 掉，保证前缀不出界，却可能把模型推向「合法但次优」的续写；SHIM 的反转是，解析器和词法分析器在解码时早已维护了未来合法性的线索，没必要再为这件事付出昂贵的在线反复采样。12
SHIM 是一个离线训练的轻量 logit 校正器：它读取 parser state、lexer state 和 candidate next token，预测校正因子 γ，再把 log γ 加到 mask 后的 logits 上。它不改基础模型权重，也不在推理时迭代重采样；最轻量的 next-token-only 版本甚至只看候选 token，把 lookahead 信号变成概率回魂。3
论文在 Mistral-7B-Instruct-v0.2 上评测 INV-BV 的 14 个 SyGuS grammar，并用 Spider 的 4 个 text-to-SQL 查询测试更大的开放词表。完整特征 MLP 在 BV4 上相对 Syncode 有 11/14 个 grammar 降低 KL divergence，相对 ASAp 覆盖全部 14 个；摘要报告最高可比 masking 低 113 倍、比 online sampling 低 235 倍。LR_FULL 的平均生成时间为 2.52 秒，低于 Syncode 的 2.97 秒，也明显低于 ASAp 的 16.62 秒。3
但这不是「只看下一个 token」的普适魔法：在 SQL 的近重复列名、JOIN 结构或长词法分歧里，parser 和 lexer state 仍然重要。论文的 KL 目标来自有限的 1000 个语言模型样本，ASAp 在 BV4 上封顶 100 次采样；Spider 只取 4 组查询，通讯作者与作者单位也未在 arXiv 论文页单独标注。论文作者为 Işıl Özgü、Yaoxuan Wu、Guy Van den Broeck、Miryung Kim；作者主页可核验第一作者 Işıl Özgü 为 UCLA SEAL Lab 博士生。arXiv 论文页没有单独标注通讯作者，也没有在作者列表旁提供全体机构归属，因此不据姓名或公开履历反推缺失信息。14
适合早高峰通勤时听：先记住「mask 保合法，SHIM 保分布」，再把 parser、lexer、lookahead 三个信号钉进脑子。冷硬 drill 的压迫感，对应的是一层很小、但知道该把概率质量从哪里救回来的校正层。
References
- 1arXiv摘要页：The Parser Already Knows
arxiv.org
- 2arXiv cs.CL new listing
arxiv.org
- 3论文 HTML 全文：方法与实验
arxiv.org
- 4Işıl Özgü公开主页
isil.io
This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.