大模型最难修的漏洞：它分不清谁在下命令 (2026)

导读

MIT Technology Review 的 Will Douglas Heaven 于 2026 年 7 月 30 日写道：大语言模型最难修的漏洞，不是某条护栏漏了，而是它们根本分不清一句话是谁说的。1

全文总结

不是护栏太少，而是模型把整段文字看成一张纸

这篇文章讨论的是一组研究者在 International Conference on Machine Learning（机器学习国际会议，简称 ICML）发表的论文。论文提出，大语言模型（large language model，简称 LLM）可能无法被彻底保护，因为它们用来判断「谁在发出指令」的基本方式本身就不可靠。研究者利用这个弱点，让多个常见模型输出原本被训练为拒绝提供的信息。1

现有防御通常依靠两步：人工红队不断寻找新的越狱攻击（jailbreak，诱导模型绕过安全限制的攻击），模型厂商再把这些攻击加入训练，让模型学会拒绝相似请求。厂商也开始使用专门寻找漏洞的大语言模型，例如 OpenAI 的 GPT-Red。问题是，攻击者要制造的不是一份完整的「禁做清单」；他们只需找到一种让模型误读指令来源的写法，而任何清单都不可能列尽所有写法。1

研究者最初发现，一段模仿模型思维链（chain of thought，模型生成的中间推理文字）的文字，就可能让模型误以为那是自己先前写下的判断。比如，攻击者先提出一个违规请求，再伪造一段看起来像模型内部笔记的「政策说明」，模型有时就会把这段伪造内容当成自己的推理结果，并据此执行请求。研究者把这种方法称为「思维链伪造」（chain-of-thought forgery）。它不是靠某个神秘关键词打开后门，而是利用模型对文字风格和来源的误判。1

这种攻击并不只针对一个模型。研究者在 OpenAI 的多个模型上描述了实验结果，并表示后来在 Anthropic、阿里巴巴和 DeepSeek 的模型上也看到了类似现象。文章还提到，这项发现曾在 2025 年 8 月的 OpenAI 红队黑客松中获奖；巧合的是，OpenAI 的 GPT-Red 研究者大约在同一时期也发现了相近的攻击，只是称它为「伪造思维链」。1

模型并没有真正看见「谁说了什么」

聊天机器人会给不同文字加上角色标签：用户输入是一种角色，模型回复是一种角色，开发者设定又是一种角色，外部网页或其他代理带来的文字也有各自标签。这样做的目的，是让模型知道哪些话应该遵守，哪些话只是被引用或分析的材料。提示注入（prompt injection，藏在外部文字中的新指令）和越狱攻击，往往都在试图伪造这些角色。1

但研究者发现，LLM 看到的并不是人类所理解的多方对话。对模型来说，用户提问、模型回答、思维链笔记和网页复制内容最终都变成连续的 token（模型处理的文字片段）。模型似乎主要根据一段文字的措辞和写作风格来猜它属于哪个角色，而不是牢牢记住包围它的标签。研究者交换或删除标签后，模型对文字身份的判断几乎没有变化：只要一段话看起来像模型自己的思维链，模型就可能把它当成思维链。1

这解释了为什么文章把问题称为结构性弱点。安全训练可以教模型识别许多已知攻击，却很难改变模型处理文字的底层方式；攻击者总能尝试新的语气、新的伪装或新的上下文，让文字看起来像来自另一个角色。研究者的结论不是「所有模型现在都同样容易被攻破」，而是更谨慎也更麻烦：训练会提高攻击成本，却无法证明模型已经获得了一个可靠的身份识别系统。1

防御能降低风险，却不能把不可信变成可信

苏黎世联邦理工学院（ETH Zürich，瑞士的研究型大学）的计算机科学家 Florian Tramèr 认为，这篇论文抓住了一个很漂亮的攻击思路。他也指出，模型厂商正在把训练、上线后的行为监控等多种手段结合起来，领先模型已经比过去更难遭遇提示注入；但如果模型处理的是高度敏感的任务，现有方法是否足够仍不清楚。1

文章也提醒，实验研究的模型大多是去年发布的，不能简单地把每个实验结果等同于今天所有模型的表现。但这并没有消除论文提出的底层问题：只要角色判断仍然依赖文字本身的外观，红队就会遇到「没有列出的下一种写法」。研究者 Jasmine Cui 说，她甚至曾让 GPT-5.4 给出自杀方式；她过去还通过让模型假装喝醉，或告诉模型自己正在被军方使用，诱导旧版本模型改变原本的拒绝态度。1

因此，研究者 Charles Ye 给出的实际建议相当保守：组织不应信任 LLM，并应假设代理执行的任何操作都可能不安全。这个建议听起来不像解决方案，因为它确实不是解决方案；它要求部署者把模型当作一个能力很强、速度很快、但身份判断和边界意识都不可靠的自动化组件。只要模型被接入政府、军事、购物或医疗系统，问题就不再是聊天机器人偶尔答错，而是它能否被允许直接触发现实世界的动作。1

关键细节

研究者把「思维链伪造」定义为一种角色欺骗：攻击者写出像模型内部推理的文字，模型便可能把外部指令误认成自己的判断。1
攻击者只需把角色标签换掉，模型的理解就可能几乎不变；真正影响模型判断的，往往是文字的风格和内容，而不是标签本身。1
文章称，研究者后来在 Anthropic、阿里巴巴和 DeepSeek 的模型上也看到类似结果，但原始论文主要描述了 OpenAI 模型上的攻击。1
OpenAI 的 GPT-Red 大约在同一时期独立发现了相近攻击；厂商已经在用模型自动寻找其他模型的漏洞，但「让模型找漏洞」和「从根本上消除漏洞」是两件不同的事。1
研究者的底线是：部署方应把代理的行为视为可能不安全，而不是把通过一轮安全测试理解为永久可信。1

金句

There’s a real probability that this is going to be a problem that’s fundamentally unsolvable.
译注：这不是说所有安全措施都没有用，而是说「彻底解决」可能不是一个真实可达的终点。训练能让已知攻击失效，却无法保证下一种伪装不会出现。1

It’s just one big sheet of tokens.
译注：这是理解全文最关键的比喻。人类可以凭说话者、引号和上下文区分「谁说了什么」，模型最终处理的却是一条连续的文字流；角色标签只是外加的线索，不是牢不可破的边界。1

That’s not a great solution, but it just might be what we have to do.
译注：Ye 的建议之所以刺耳，是因为它把部署责任推回了系统设计者：如果模型不能被证明可信，就不要让它在没有隔离、复核和权限限制的情况下替人做决定。1

References

1A fundamental flaw leaves LLMs strikingly vulnerable to attack

导读