拒答、百万 token 的一条轨迹、常驻的 Agent：本周三条更新重画了 Agent 的标尺

这一期的窗口是 2026 年 9 月 28 日到 10 月 1 日。上一期 9 月 29 日上午发出，写的是 9 月 25 日到 9 月 28 日的三条；本期与它在 9 月 28 日有一天重叠，事件不重复。

三条更新落在理解地图的三块：Artificial Analysis 发布网络安全方向的 Agent 评测 Cyber Index，落在 ⑦评测与指标；Google 发布 Gemini 4 Argon，把一次推理的输出上限从 64K 提到一百万 token，落在 ②模型层；OpenAI 在 DevDay 2026 上把 Agent 做成常驻产品，并让插件由外部事件唤醒，落在 ⑧产品形态与落地。

三件事看起来分属评测机构、模型厂商和产品团队，动的却是同一样东西——衡量 Agent 的标尺。第 1 条在改分数怎么算，第 2 条在改一次推理能跑多长，第 3 条在改它在你不在的时候该被允许做什么。

（对应地图 ⑦评测与指标，兼及 ⑥权限、安全与熔断）

发生了什么： 2026 年 9 月 28 日，Artificial Analysis 发布 Cyber Index，同时拉来 Collinear AI、IBM、NVIDIA 和 Vercel 组成 Cyber Index Alliance，一起定企业网络安全任务的评测标准。1

索引由三个评测拼成，各管防御闭环的一段。CWE-Bench-AA 来自 Collinear AI：120 条私有 held-out 任务，覆盖 OWASP Top 10（2025）全部十类、六种语言，每条任务给出一份真实开源仓库的检出和「哪个区域有问题」的描述，但不指明位置，Agent 要自己找出漏洞并修掉，还不能弄坏合法行为。DeepsecBench-AA 来自 Vercel，只测发现：审阅扫描器标记过的文件，把能确认的漏洞报出来，对照人工专家核验过的答案集算 F2 分，召回权重高于精确。CyberGym-E2E-AA 来自 Berkeley RDI，131 条真实内存安全漏洞任务、一个项目一题，要求走完发现、写出能触发崩溃的输入、打上补丁，且项目原有功能测试仍然通过。1 判定交给程序化验证器：漏洞不再可被利用、同时合法行为没有坏掉，两条都成立才算通过，没有部分分，也不用模型当裁判。1 三个评测都跑在 Artificial Analysis 自己开源的 Agent harness Stirrup 上，也都明确不要求模型写可用的 exploit——这个索引只测防御一侧。1

结果谈不上好看。DeepsecBench-AA 上最好的模型只报出了专家已确认问题里的 41%。1 CWE-Bench-AA 的失败集中在两类：55% 是「修了主问题、留下一个相关入口」的不完整修复，约 24% 是过度修复，补丁弄坏了合法行为。过度修复在强模型上反而更常见：四个最高分模型的失败里约 40% 属于这一类，最低分的模型只有约 15%。1 轮次分布上，模型平均把 38% 花在找 bug、62% 花在修补与验证。1 CyberGym-E2E-AA 上，GPT-6 Astra、GPT-6 Sol、Claude Fable 5.1、Claude Opus 5.5、Qwen3.8 2.4T A95B 与 Qwen3.8 27B 拒绝了至少 98% 的任务，前沿模型的分数因此无从比较；剩下模型的失败里，42% 是跑到 90 分钟上限都没构造出能触发崩溃的输入。1 按漏洞类型分，越界类通过率 50%，use-after-free 33%，整数与算术类 20%；还有 31% 的「通过」修的其实是另一个真实崩溃，而这类更浅——空指针在这类修错目标的通过里占 22%，在修对目标的只占 9%。1

成本被放进了同一张表。Artificial Analysis 说这个索引要回答的问题是：哪个模型最能支撑安全团队的工作，以及跑起来要花多少钱。1 同类机构也在做同一件事：Vals Index 的榜上，准确率旁边并排列着每个测试的成本，Gemini 4 Argon 以 68.90% 排第一、每个测试 15.68 美元，Claude Sonnet 5.5 以 67.04% 排第二、每个测试 21.34 美元。2

机制是什么： 第一件事是闭环判据替掉了单点判据。CWE-Bench-AA 的通过条件是两条可执行判据同时成立，而不是「看起来修对了」，这把能力切成发现、复现、修复三段；三段的难度并不一样，CyberGym 的失败里 42% 卡在发现，而修补阶段最大的系统性错误不是修不动，是修过头。只报总分的榜单会把这两类失败混成一个数字。

第二件事是拒答必须与失败分开统计。一个出于安全考虑拒答 98% 任务的模型，和一个什么都做不出来的模型，记在同一栏里榜就失去可比性——「愿意做」和「做得成」在这里被拆成两列，而这恰好也是企业采购前要先问的问题。

第三件事是私有 held-out 与无网沙箱成为评测 Agent 的前提。Agent 类任务的解法路径长，公开题目一旦进了训练数据，分数衡量的就不再是能力；任务私有、描述只给区域不给位置，防的就是「题被记住」。

（对应地图 ②模型层，兼及 ⑤环境与状态、⑥权限、安全与熔断）

发生了什么： 2026 年 9 月 30 日，Google 发布 Gemini 4 Argon，先通过 Fairwind Program 交给一批受信任的网络安全防御方，之后才逐步开放给开发者、企业和消费者。3

发布稿里与 Agent 有关的规格集中在三处。第一处是一次推理的长度：输出上限从 64K 提到一百万 token，Google 的说法是模型有了在一次轨迹里生成几十万 token 的空间，才能一口气处理更难的问题。3

第二处是它自己在内部怎么用，这部分给了具体数字。一组 Argon Agent 分析全机群的性能分析遥测，自主找出并应用内存优化，已释放 300 TiB 以上内存，预计最终省下 500 TiB 到 1 PiB；Argon Agent 在做 C/C++ 代码库到 Rust 的迁移，规模从 re2、libgav1 这类核心库的几万行，一直到 Fuchsia Zircon 内核的 80 万行以上；libgav1 那一例里，Agent 用多轮按性能剖析引导的实验替换掉 32K 行 SIMD 代码，产出编译器能自动向量化的安全 Rust，结果是这个内存安全的视频解码器比原先的 Rust 端口快 2.7 倍、视频输出一致。3

第三处是安全边界。Google 说 Argon 是自己在间接提示注入上最鲁棒的一版，在 Gray Swan 的 IPI 榜上领先；对模型的思维链和动作做失准监控，必要时停止执行；训练运行也用同类监控，并特意避免把发现回灌进训练，以免把模型的推理训练成绕开监控；在高风险训练或评测开始之前，先把沙箱环境隔离并封存，做法沿用它自己的 agent control roadmap。3 定价是每百万 token 输入 2 美元、输出 10 美元，缓存输入按输入价的 95% 折扣。3

同周还有一版做法相近的对照。OpenAI 在 9 月 29 日更新 GPT-6 Sol 与 Luna 时，把「会话中途改推理档位、增删工具，之后仍能复用之前的前缀缓存」写成了一条 API 行为，缓存输入的读取价打到九折，并引用 GitHub 的数据说明这些改动让需要重新处理的提示词 token 占比降了一半以上——对长跑 Agent 来说，这是比 token 单价更直接的成本项。4

机制是什么： 对做 Agent 产品的人来说，一份模型发布稿里要读的规格和榜单排名关系不大，主要是三样。

单条轨迹的输出上限，决定 harness 要切几刀。Agent 的长任务通常会被切成多个 session，每次交接都要把状态写出去再读回来，而交接点正是最容易丢信息、也最容易把上下文和权限带错的地方。上限从 64K 抬到一百万 token，改变的是切分点的密度：能一口气跑完的任务，就不必设计跨 session 的状态延续与重新授权。

缓存折扣决定长会话的边际成本。长跑 Agent 每一轮都要重发几乎相同的前缀——系统提示、工具定义、历史——真正新增的内容占比很小，所以「再跑一轮」的价格主要由缓存命中率决定，而不是由 token 单价决定。这也意味着，模型降价给长会话带来的收益，往往小于缓存命中率提升带来的收益。

拒绝边界和监控面是产品可用性的一部分。同一份发布里既写了对受信任防御方不挂 cyber guardrails，又写了监控思维链与动作、必要时停机——能力边界不是一个开关，而是按「谁能用、用来做什么、什么时候会被叫停」分层的。

（对应地图 ⑧产品形态与落地，兼及 ①目标与任务边界、④工具与协议）

发生了什么： 2026 年 9 月 29 日，OpenAI 在 DevDay 2026 上发布了常驻型 Agent 产品 dots，并宣布 ChatGPT 开始支持提案中的 MCP Events 规范。5

dots 的定义是 always-on agents。每个 dot 有自己的云电脑和自己的浏览器，借插件生态能连上 4,000 多个应用，背后跑的是 GPT-6 Astra，可以 24/7 朝你的目标工作；入口在 ChatGPT、Slack 和 Teams，上下文跨渠道延续。6

权限这一层写得比宣传语具体。当你没有主动使用它时，dot 会在后台找能帮上忙的事，OpenAI 把这叫「主动调研」，此时它能调用的工具被限制为只读——不能发消息、不能改应用内容、不能控制你的浏览器或电脑。6 你能随时打开它的云电脑看它在做什么；能连哪些应用沿用 ChatGPT 既有的应用权限；Custom Rules 可以把具体动作设成允许、需要批准或阻止；Activity View 里能看到包括后台在内的工作，并随时把它改向。6 发布稿给的例子是，一位早期测试者的 dot 发现他漏开了一张稿费发票，把发票准备好，在他批准之后才发出去。6 可用性上，dots 先在 Pro、Business Premium 与 Enterprise 逐步开放，Enterprise、Edu 与 Healthcare 的用户要等工作区管理员开启才能试用 beta，默认关闭。5

MCP Events 是同一批发布里的另一件事：插件可以在一款已连接的应用里「有事发生」时启动自动化。官方举的用法是让 ChatGPT 盯着项目看板上的新任务，任务进来就去读关联文档、起草计划，人不在也一样。5 实现范围有明确边界：OpenAI 的指南要求 MCP 2.0、协议版本 2026-07-28，支持 webhook 投递与回调校验，不支持轮询、流式，也不支持草案里的 gap 与 terminated 两种控制通知。7

规范本身还没定稿。MCP 的 Triggers and Events 工作组由 AWS 的 Clare Liguori 和 Anthropic 的 Peter Alexander 带领，章程初版日期是 2026-03-24；两份工作项都还停在 Ideating，目标日期写着 End April，champion 一栏是 TBD。8 这个工作组名下的孵化仓库里，那份设计草稿的状态写着 Draft proposal。9

代价写在那份草稿里。一次 events/subscribe 会在服务端留下一条持久记录：谁、回调地址、事件名、过滤参数、有效期。这条订阅和创建它的那个 access token 不是一回事——token 短命、每个请求都要校验、过期就返回 401；订阅则可以请求 ttlMs: null，也就是永不过期，而投递期间要不要重新检查用户权限，草案写的是 SHOULD，没有规定间隔，也没有对应的符合性测试。9 于是你给的有效期就是你实际的撤销窗口。而在 ChatGPT 的实现里，草案用来宣告「这条订阅已经终止」的 terminated 信封不被支持，剩下唯一的信号是刷新失败：撤销发生在周一早上、服务端给的是 24 小时有效期、又不在投递时复检的话，数据会一直推到周二。9

机制是什么： 对话式 Agent 与常驻 Agent 的差别，由「谁发起这一次动作」划开。前者的授权范围天然是这次会话——用户开口，Agent 动作，会话结束授权随之结束。后者由自己或外部事件发起，于是那些原本可以临时做的决定，必须提前写成规则：哪些动作可以自己做、哪些要人批准、哪些直接禁止。dots 把「主动调研」限制成只读，就是这个问题的具体答案——自主行为默认可读，写入要人点头。

第二件事是授权的生命周期。一次请求的授权随请求结束而失效；一条事件订阅是一段持续授权，必须被显式撤销，还要有人定期确认它仍然应该存在。落到实现上就是两个具体参数：订阅的有效期，以及撤销之后多久传播到投递那一端。如果一份常驻 Agent 的文档里找不到这两个答案，它的权限设计就还没写完。

这是同一周第三条落在权限上的更新。上一期写过 Okta 把 kill switch 放进执行路径，解决的是「出事时怎么一次性停掉」；这一次的问题更靠前——在 Agent 被唤醒之前，唤醒它的那条订阅凭什么还活着。

跨期口令再加一句：目标写清 → 工具接对 → 环境真隔离 → 权限默认最小 → 随时能停 → 环境可恢复、状态可序列化 → 监督看三个率 → 边界按「碰得到」限定，撤销要能打断在飞的会话 → 出网路径逐条清点，策略执行点放在 Agent 够不着的地方 → 评测先问判的是哪一段，授权先问怎么撤销。