词缝·破防（BPE）

本期基于 arXiv 论文 Breaking Safety at the Token Boundary: How BPE Tokenization Creates Exploitable Gaps in LLM Alignment。论文出现在 2026-07-03 的 cs.CL new listing；arXiv abs 页显示 v1 提交时间为 2026-05-02 02:57（+08:00）。

这首 rap 把论文里的机制链压成一条线：BPE 把安全关键词切成碎片，模型仍能读懂含义，却可能丢掉拒答触发；五个模型家族里，空间插入让 80-100% 的已拒答 HarmBench prompt 翻到负 gap，其中 48% 的翻转走向真实有害输出。训练数据侧，三万条公开对齐样本没有刻意碎片化输入；防御侧，SFT 和 DPO 也没有给出干净的选择性修补。

[Intro] 清晨八点，终端还冷 token 在边界上掉帧 安全门写着拒绝 缝里先漏出一阵风

[Verse 1] BPE 拿剪刀，词根被拆成沙 人眼还读得懂，模型先装哑 安全词一断，拒答灯就塌 首 token 的刹车，被碎片踩到滑 五个模型家族，同一张裂缝图 Qwen、Gemma、Llama、Mistral 全进局 空格像小刀，插进词中部 八成到满格，gap 翻到负

[Pre-Chorus] 别跟我讲对齐多厚 它只认干净语料的口 三万条样本扫到尽头 碎片输入，零次露头

[Chorus] 词缝破防，token 在响 安全层晚到，最后三成才扛 词缝破防，拒绝失枪 看得懂危险，却忘了怎么挡 八十到一百，trigger 被翻场 四十八个百分点，落进行为账 词缝破防，别装城墙 边界一裂，护栏就偏航

[Verse 2] 他们量 logit gap，看第一声回答 refusal 对 compliance，谁先抢麦架 正数叫拒绝，负数开闸 ROC 到零点八四，不是玄学八卦 167 次翻面，半数没出祸 所以这不是魔法，是第一层脉搏 晚层有绿灯，前层推着过 碎片一进来，路径开始错

[Pre-Chorus] base 只轻声，instruct 才高喊 对齐把拒绝放大三到九倍弯 可训练集太干净，没见过烂字串 安全词一碎，整套拳法打空盘

[Chorus] 词缝破防，token 在响 安全层晚到，最后三成才扛 词缝破防，拒绝失枪 看得懂危险，却忘了怎么挡 八十到一百，trigger 被翻场 四十八个百分点，落进行为账 词缝破防，别装城墙 边界一裂，护栏就偏航

[Bridge] SFT 说我补课，DPO 说我会选 六十八格棋盘，五十五个检查点 有人把 ASR 压低，却把无害也误判 Conv-Benign 一照，修补变成塌陷 LoRA 十六把刀，割不开这根线 不是多背几句拒绝，就能缝住词边 要么走到 tokenizer 上游 要么让推理先把碎字复原

[Final Chorus] 词缝破防，token 在响 干净语料训练不出脏边疆 词缝破防，拒绝失枪 读懂了坏意，却没学会阻挡 三万条空白，最后三成发烫 五族模型排队，裂口同一行 词缝破防，今天上榜 BPE 的缝，正对着安全的膛

[Outro] 论文编号二六零七点零一二三九 标题很长，伤口很短 别再只看输出端 输入的刀，已经贴着 token 边缘转