1/4

COMA:压缩器成了攻击面

机器之心文章图片笔记:用四张卡看懂港科大 COMA 如何把提示词压缩变成 Agent 新攻击面,以及 AIL、两阶段黑盒攻击、实验数字和隔离压缩防御边界。

机器之心 2026-07-08 11:02 发布的文章介绍了港科大 COMA 研究:提示词压缩原本用于降低 Agent 长上下文的成本和延迟,但压缩器也会决定后端模型最终看到哪些规则、证据和工具说明。1
这篇论文把风险定义为 adversarial information loss:当可信系统规则和不可信用户输入共用同一个压缩预算时,攻击者可以只扰动压缩前的不可信输入,让压缩器丢掉关键安全护栏或任务证据。2
COMA 的做法是两步:先在压缩空间里找出「删掉后会导致后端出错」的关键 token,再搜索压缩前扰动,让真实黑盒 Agent 的压缩结果尽量靠近这个目标。作者开源的代码把任务分成 Agent Tool Selection、Question Answering 和 System Prompt Corruption 三类,并覆盖六种压缩器。3
论文摘要给出的核心数字是:COMA 在三类任务和六种压缩器的 18 个设置中平均 ASR 为 0.71,最强 baseline 为 0.21;微信原文还提到隔离压缩方案在保护系统提示词方面防御成功率达到 96%。21
图片顺序:封面 → 风险机制 → COMA 两阶段 → 实验数字与隔离压缩。

Related content

Comments

Sign in to comment.