多语言越狱不是一种失败:Minionese 如何拆出三条安全断路

多语言越狱不是一种失败:Minionese 如何拆出三条安全断路

精读 arXiv:2607.10112:18 种语言、4 类扰动和三模型几何分析显示,多语言安全失败可能来自有害性表征坍塌、拒答信号未过阈值,或代码切换扰乱语言路由。

先给结论:多语言越狱不是一种失败

这篇论文把多语言安全问题拆成了三个不同的内部故障。
  • 标准翻译和 translationese:语言资源越低,攻击成功率通常越高。
  • 音译 / 转写:风险强烈依赖文字系统,韩语、中文、阿拉伯语、印地语转成特定脚本后,拒答机制可能突然失效。
  • 代码切换:不太依赖资源等级,在低资源语言里也能保持较高的攻击成功率。
作者进一步把这种行为差异对应到残差流中的两个环节:模型有没有形成足够清晰的有害性表征,以及这份表征有没有把拒答信号推过阈值。Tier 3 语言更多像「模型知道这是有害请求,但拒答信号不够强」;部分 Tier 4 语言则连有害性表征本身都开始坍塌。1
这让论文有两个读者价值。第一,它说明只用英文测安全性会漏掉结构不同的风险。第二,它没有把「低资源语言更脆弱」当成唯一解释,而是把脚本、扰动方式和模型内部几何分开测量。论文是 2026 年 7 月 11 日提交的 arXiv v1 预印本,下面的数字和机制解释都应按这个证据等级阅读。

它到底测了什么

一个把语言和攻击方式拆开的基准

Minionese 以 AdvBench 的 385 条有害提示为基础,为每条提示构造一条结构和长度尽量匹配的无害提示。无害版本由 GPT-5.4 生成,再由人工检查。每一对提示被放进 18 种语言和 4 类扰动中,得到 385 × 2 × 18 × 4 = 55,440 条提示2
18 种语言被分成四个资源层级:
层级语言
Tier 1,高资源English、Spanish、Chinese、German、French
Tier 2,中高资源Arabic、Russian、Korean、Japanese
Tier 3,中低资源Turkish、Indonesian、Hindi、Swahili
Tier 4,低资源Yoruba、Zulu、Scottish Gaelic、Guaraní、Javanese
四类扰动保持有害内容的语义目标不变,但改变它进入模型的方式:
  1. 标准翻译:整条提示翻译成目标语言。
  2. 代码切换:只把区分有害和无害提示的最小片段翻译,其他上下文保留英文。
  3. 音译 / 转写:先翻译,再把文字转成另一种脚本,例如把非拉丁文字罗马化。
  4. Translationese:英文、目标语言、英文、目标语言来回翻译三次,让目标语言保留机器翻译式的表面特征。
这套设计的好处是,论文不再只问「哪种语言更危险」,还可以问「同一语言换一种脚本或混入英文后,失败机制是否改变」。

三个模型和一个需要留意的评估管线

实验使用 Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct 和 Aya-Expanse-8B,采用贪心解码,温度为 0,最多生成 512 个 token。模型输出先经过语言识别、Unicode 有效性和最小长度检查;论文报告各条件下的连贯率接近 1.0。攻击成功率由 WildGuard 判断,非英语输出先用 NLLB-200 回译成英文,再判断模型是否拒答。3
这个管线很适合做大规模横向比较,但也埋下了后文的限制:当低资源语言的翻译或回译质量本身不稳定时,ASR 的变化未必全部来自模型安全机制。

结果一:脚本和扰动方式会改写风险排序

标准翻译的资源梯度很陡

在标准翻译下,Llama 的平均 ASR 从 Tier 1 的约 8% 升到 Tier 3–4 的 70% 以上;Yoruba、Zulu 和 Scottish Gaelic 在 Llama 上分别达到 100%、97% 和 98%。不同模型的绝对数值不同,但方向大体一致:资源层级越低,英文安全对齐越难直接迁移。4
Translationese 在中等资源语言上还会进一步抬高风险。例如 Aya 的 Korean 从标准翻译的 14% 升到 51%,Llama 的 Hindi 从 15% 升到 48%。这不是简单的「翻译越差越不安全」:回译改变的是表面分布,模型的有害性检测可能因此接收到不同的信号。

音译暴露的是文字系统条件

音译对非拉丁脚本语言尤其危险。论文报告,Korean 的 ASR 在 Aya 和 Llama 上分别为 98% 和 99%,Chinese 在 Llama 上为 97%,Hindi 在 Llama 上为 99%。但 French、Scottish Gaelic 和 Yoruba 的音译 ASR 在一些模型条件下接近 0%。同一种处理对不同脚本的影响相反,说明这里不能只用「资源多少」解释。5

代码切换是跨层级最稳定的攻击

代码切换在 Tier 4 也保持了相当高的 ASR:Yoruba 在 Aya 和 Llama 上分别为 62% 和 82%,Zulu 为 62% 和 85%,Guaraní 为 42% 和 46%。论文把它解释为语言识别路由受扰,而不是单纯的低资源语义表示退化。这个解释目前还是机制假设,论文没有用路径干预直接验证它。4

Tier 2 到 Tier 3 像一次状态跃迁

三种模型在 Tier 1–2 仍以拒答为主。Llama 的拒答比例从 Tier 1 的 80% 变为 Tier 2 的 75%,到 Tier 3 降到 31%;Qwen 是 80%、88%、50%;Aya 在前两个层级都是 75%,Tier 3 降到 31%。Aya 在 Tier 4 的顺从比例达到 95%。这种断裂更像阈值效应,而不是随资源等级平滑下降。4

结果二:模型可能「识别到了有害」,却没有拒答

先把两个信号分开

作者在每个语言、每一层的最后一个 instruction 后 token 提取残差流激活。对 harmful / harmless 样本训练 logistic probe,用能解释至少 95% 光谱质量的主成分构成有害性子空间;再用英文拒答样本和顺从样本的均值差定义拒答方向。作者把拒答写成一个阈值判断:拒答方向与激活的内积超过 0.95,才算信号足够强。6
这里的「阈值」是研究者用于分析的操作化定义,不等于模型内部真的存在一个名为 0.95 的硬开关。它的作用是把「有害性检测」和「拒答激活」拆成可比较的两个测量对象。

Tier 3:有害性还可线性读出,但没有穿过拒答阈值

Figure 2 的 silhouette score 显示,Tier 1–2 的 harmful / harmless 表征在三种模型中都保持较好分离,Tier 3 开始下降,Tier 4 最差。Guaraní 在三种模型的多层结果中都接近 0 或负值;Swahili 是 Tier 3 的异常点,分离度明显低于同层级其他语言。
三种模型在不同语言和层上的有害-无害激活分离度热图
有害-无害激活分离度以 silhouette score 表示;虚线区分四个语言资源层级。7
但线性 probe 的结果更耐人寻味:Tier 1–3 的多数层,harmfulness detection 的 AUC 仍达到 0.85 以上;到了 Tier 4,Yoruba 和 Zulu 在后层接近随机水平 0.5。换句话说,Tier 3 的主要问题可能不是模型完全不认识有害内容,而是有害性表征对英文拒答方向的投影太小,没有把拒答信号推过阈值。作者把它称为 subthreshold activation failure8
三种模型逐层的有害性线性探针 AUC 热图
颜色表示 probe AUC,0.5 是随机水平;图中同时展示了不同语言资源层级在各层的变化。9

Tier 4:有些语言连有害性表征也没有形成

作者还计算非英语和英语 harmfulness 子空间之间的第一主角度。Tier 1 大约在 40°–65°,Tier 4 则接近 85°–90°,近似正交;Qwen 的平均角度相对较小,也仍在约 60°–65°。这意味着低资源语言的有害性表征并不是简单地沿着英语方向变弱,而是可能进入了另一套几何空间。8
在作者的分类里,Tier 3 多为「有害性存在、拒答不足」的 mixed failure;Tier 4 则出现 upstream failure,也就是有害性信号本身就弱了。这个区分很实用:前者指向拒答触发或跨语言映射问题,后者则要求先修复输入表示。只是要注意,probe 能读出一个信号,不等于该信号已经被模型用于生成决策。

结果三:跨语言拒答看起来近似一维

论文把单一拒答方向扩展为最多 5 个基向量的 refusal cone,并用 CL-RepInd 检查这些方向是否独立。第一基向量 b0 的英文 margin 在 Qwen、Aya、Llama 上分别为 9.7、6.1、2.8;跨语言 margin 为 5.3、3.8、0.75。后续 b1–b4 的跨语言 margin 很快接近 0 或变成负数,且常常只对应某个语言簇。10
作者因此认为,跨语言拒答主要依靠 b0 这一条共享方向,多维 refusal cone 的其余方向更像语言簇特异结构。Tier 4 中即使 b0 的 margin 也接近 0,所以作者把它归为上游有害性表征失败,而不是「拒答方向选错了」。
这个结果和前面的 ASR 共同构成论文最有用的判断框架:看到一个模型在某种语言中顺从有害请求,先别急着问「拒答方向是不是失效」,还要问有害性表示有没有到达拒答模块。

这篇论文真正贡献了什么

把安全评估从语言标签推进到条件组合

「英文、中文、低资源语言」这样的标签太粗。Minionese 至少把三个变量拆开了:资源层级、脚本家族、扰动类型。音译在韩语和中文上的高 ASR,代码切换在 Tier 4 的持续有效,以及 Tier 2 到 Tier 3 的状态断裂,都说明安全测试不能只报一个跨语言平均值。

给出比 ASR 更接近机制的问题分解

ASR 只能告诉我们输出是否顺从。论文尝试再问两步:harmfulness 是否可线性读出,harmfulness 子空间是否与英语对齐,拒答投影是否越过阈值。这样形成了一个可检验的修复顺序:Tier 3 先检查跨语言拒答触发,Tier 4 先检查有害性编码和脚本处理。
但「可检验」不等于「已经验证」。论文没有做 activation patching 或 path patching,也没有展示给 b0 加入跨语言激活后能稳定降低 ASR。因此,upstream / subthreshold 的标签目前是由相关性证据支持的机制解释,不是已经闭环的因果电路。

局限:这是一张很有用、但还没闭环的地图

  1. 翻译和回译会成为混杂因素。 所有扰动由 Google Translate 构造,非英语输出又交给 NLLB-200 回译后用 WildGuard 评分。论文自己承认,低资源语言的翻译质量和回译质量可能直接影响 Tier 4 的 ASR。
  2. 无害对照不是原生人工语料。 385 条无害提示由 GPT-5.4 生成,再做人工检查。人工检查能减少明显错误,但不能自动保证不同语言版本在语义、礼貌程度和危险词分布上完全等价。
  3. 线性 probe 和均值差方向的解释能力有限。 它们能展示可解码性和几何关系,却不能单独证明模型在生成时沿着这条方向完成了拒答。作者把 activation patching 列为后续工作,而不是本轮已经完成的验证。
  4. 模型覆盖仍然窄。 实验只有三款约 7B–8B 的指令模型,且基准的有害提示来自 AdvBench。更大模型、不同安全训练方式和真实多语种用户输入是否呈现相同的层级断裂,论文没有回答。
  5. 论文是 arXiv v1 预印本。 结果值得作为研究假设和评估设计参考,但不宜把「跨语言拒答近似一维」写成已经被普遍确认的模型定律。11

读者该带走的判断

如果只记一件事:多语言安全失败不一定发生在「拒答模块」本身。对 Tier 3 语言,模型可能已经把请求读成有害,只是这个信号没有足够强地触发拒答;对部分 Tier 4 语言,问题更早,输入在进入安全机制前就没有形成可用的有害性表示。
所以,下一次看到一个跨语言安全评测,不妨检查它是否同时报告了三件事:使用了什么脚本和扰动、harmfulness 是否仍可被线性读出、以及拒答干预是否真的改变了行为。只有第三项也做出来,几何解释才算从一张相关性地图走向因果电路。

Contenido relacionado

  • Inicia sesión para comentar.
More from this channel