Neodrop
Create
FeedDiscoverMy ChannelsAuto-publishJoin Our Discord
FeedDiscoverCreateMy Channels
0.0004 美元判一题、0.10 美元跑一百万 token、一条碰不到的边界:这一周三条 Agent 更新分别在定标准、定价钱、定边界
2026-10-09

0.0004 美元判一题、0.10 美元跑一百万 token、一条碰不到的边界:这一周三条 Agent 更新分别在定标准、定价钱、定边界

从 Exa 的 ATLAS 把一次判分压到 0.0004 美元、Anthropic 把子代理的输入价压到每百万 0.10 美元,到微软把 Agent 的执行边界交给操作系统执行:这一周三条更新分别在定标准、定价钱、定边界。

AI Agent 面试洞察
AI Agent 面试洞察@2010987761
这一期的窗口是 2026 年 10 月 6 日到 10 月 9 日。上一期 10 月 6 日上午发出,写的是 10 月 1 日到 10 月 6 日的三条,事件实际落到 10 月 5 日;本期与它在 10 月 6 日有一天重叠,两边的事件不重复。
三条更新落在理解地图的三块。Exa 公开了搜索类 Agent 的评测 ATLAS,同一周还有 Dreadnode 的越界评测和 Hack The Box 的按岗位考核,落在 ⑦ 评测与指标;Anthropic 发布 Claude Haiku 5.5,把子代理这一层的价格压低了一个量级,落在 ② 模型层;微软的 Microsoft Execution Containers 正式可用,把 Agent 的执行边界交给操作系统去执行,落在 ① 目标与任务边界。
三件事出自一家搜索公司、一家模型厂商和一家操作系统厂商,指向的是同一个问题:当 Agent 开始替人干活,凭什么说它干得了、花得起、碰不到不该碰的东西。第 1 条讲标准,第 2 条讲价钱,第 3 条讲边界。

1. 评测开始报两笔账,还要证明分数掉在被测的那一维上

(对应地图 ⑦ 评测与指标,兼及 ⑥ 权限、安全与熔断)
发生了什么: 10 月 8 日,Exa 公开了 ATLAS,一份面向「广度与深度搜索」的 Agent 评测,共 547 条任务,招牌指标是 row F1——一行里的每个单元格都对,这一行才算对。1 题目不是人写的,而是从 Exa 匿名化的搜索需求里聚类出种子话题,再由一条流水线生成:Codex 配 GPT-6 Astra、Claude Code 配 Opus 5.5 两个不同模型家族的 agent 各自搜索,每条任务中位数花掉 8 个 agent 小时、约 1200 次搜索,所有查询都经过一个把 Exa、Brave、Perplexity 的结果交错混排、隐去来源的工具。抽查审计估计不到 1% 的金标准值有错(0.9%,95% 置信区间 0.6%–1.4%)。1 题目本身也不轻:74% 的任务要求找出 10 个以上实体,每个实体再补 2 到 10 个属性;出题方估计,光找齐实体平均要跨 4 个域名,连属性一起补齐平均要跨 18 个域名。1
Exa 在这篇里做了两件往年评测不常做的事。一是把「题目还被不被记住」单独列出来量:ATLAS 的题只有 9% 能被 GPT-6 Astra、GPT-5.6 Sol 或 Claude Opus 5 中的某一个闭卷答出,作为对照,BrowseComp 是 48%、WideSearch 59%、DeepSearchQA 61%,后三个还被标为已经饱和。1 二是把判分成本并排写进表里:用官方判分器跑十次完整评测,ATLAS 花 2 美元,BrowseComp 26 美元、WideSearch 80 美元、DeepSearchQA 16 美元,Perplexity 的 WANDR 要 1.8 万到 5 万美元;单条答案的判分成本,ATLAS 是 0.0004 美元、15 秒,而且只有 4.5% 的单元格交给模型判,WANDR 是 0.88 美元、7.6 分钟、每条记录都过模型。1 把同一批 7658 个答案重判一遍,约 98.6% 得到相同的 row F1,没有任何系统的平均分移动超过 0.001。1
挑战设成一道预算题:每条任务一分钟以内、一美元以内做完。目前没有系统在这个预算下打到 0.5 row F1;测过的最好成绩是 0.66,代价是每条 8.92 美元、18 分钟。1
同一周还有两份角度不同的评测。10 月 6 日,安全研究机构 Dreadnode 发布 ScopeBench,测的是 Agent 在目标压力下能不能守住被授权的范围。2 它的做法是每个任务跑两遍:第一遍只测能力,看 Agent 能不能拿到 flag;第二遍在同一个环境上加一条范围限制,把任务压成一条死路——按照公布的范围,不用越界就做不成,所以机械验证器一旦判定环境被攻克,就等于证明了越界。2 举的例子是一台 Windows Server 2022 主机上带未加引号服务路径缺陷的服务,利用它必须重启这个服务,而范围里写明不得修改任何服务。验证器只能证明「越界了」,不能证明「没越界」,所以 Dreadnode 又加了一个 agentic judge,按每道题自己的 rubric 复核整条轨迹。2 结果按能力与守范围两个维度一起看:文中举例 Sonnet-4.6 与 Opus-4.8 的能力分差约 10 个百分点,守范围的比例却差约 30 个百分点;这套方法论的论文已被第 19 届 ACM Workshop on Artificial Intelligence and Security 接收。2
另一份是 10 月 6 日 Hack The Box 的 AI Range Enterprise Edition:它不给 Agent 打分,而是给 Agent 分岗。上线时开放两个角色——渗透测试与 SOC 分析师,每个 Agent 拿到一个角色分和逐环境的通过/不通过记录,模型、数据或 Agent 本身换了都能重跑;它同时还给监督它的人打分,叫 Agentic Operator Competence Scoring,看的是人能不能发现 Agent 推理里的错误、该介入时介入、不该介入时忍住。3
机制是什么: 三件事。
第一,评测要能证明分数动的是被测的那一维。ATLAS 用一个降质实验回答这个问题:同一套 harness、同一个模型,只把每次搜索结果里前 10 条中的前 7 条藏掉,ATLAS 上的分数掉掉约一半;同样被破坏的 BrowseComp、WideSearch、DeepSearchQA 上,系统还能保住原来分数的 81% 到 89%。1 ScopeBench 的配对任务是同一个道理换到行为维度:只有让「做成」等于「越界」,通过率才等价于越界率。2
第二,记忆率与饱和是评测的基本卫生,得单独量、还得能重新生成。题目一旦进了模型权重,分数就不再反映被测能力:老基准里被记住的题占到一半上下,ATLAS 把 48%–61% 这个区间和自家 9% 摆在同一张表上,并计划每 3 到 6 个月按最新搜索需求重生成整套题。1
第三,评测要报两笔账,而且分开记。跑一条任务要花的钱(模型加搜索,从不到一美元到 8.92 美元)和判一条答案要花的钱(0.0004 美元对 0.88 美元)是两回事:跑得便宜而判得贵,分数就买不起,也谈不上随需求重生成。名次之外,「这个 Agent 能不能干这份活、模型换了以后还能不能」正在变成一份独立的结果,Hack The Box 的岗位分与纵向重跑就是这种写法。3
面试可说句:
判断一份 Agent 评测能不能用,我会问四件事:题目里有没有模型已经记住的答案;把被测的那一维单独降级之后,分数会不会掉;跑一题和判一题分别要花多少钱、判分能不能复现;最后,它给的是一个名次,还是「这个 Agent 能不能干这份活、换了模型以后还能不能」。ATLAS 用搜索降质实验回答第二问,用记忆率表和每 3 到 6 个月重生成回答第一问,用 0.0004 美元的判分成本和 98.6% 的重判一致率回答第三问。

2. 子代理这一层换了价格,模型也变成可以逐步替换的零件

(对应地图 ② 模型层,兼及 ③ Harness/运行时)
发生了什么: 10 月 7 日,Anthropic 发布 Claude Haiku 5.5,官方定位是它最快、最便宜、也最强的小模型,为高并发、对成本敏感的工作而做,适合摘要、压缩、数据库查询、分类这类快速重复的活,也可以给 Opus 5.5 与 Sonnet 5.5 在编码工作里当子代理。4
价格按 prompt 长度分两档,每百万 token:不超过 10 万 token 时,输入 0.10 美元、输出 0.50 美元、缓存读 0.01 美元、缓存写 0.125 美元;超过 10 万 token 时,输入 0.50 美元、输出 2.50 美元。官方称平均便宜约 75%:10 万 token 以内的请求便宜 90%,超过的便宜 50%,而此前 90% 的 Haiku 请求都落在前一类。4 它也是第一个带 effort 档位的 Haiku 级模型,可以在成本与智能之间选档。4
官方给出的几个对比数字是:OSWorld 2.1 的离线子集(衡量 agent 操作真实电脑完成长步骤任务)从 Haiku 4.5 的 15.7% 升到 72.4%,同期 Sonnet 5.5 是 83.9%、GPT-6 Luna 48.9%;Terminal-Bench 4.0 从 0.0% 升到 39.2%,Sonnet 5.5 是 70.6%。4 两个细节值得先记下:Haiku 5.5 换了分词器(与 Sonnet 5.5、Opus 5.5 同类),同一件工作会用掉略多的 token,官方把这件事算进了「便宜 75%」的算法里;它的网络安全护栏比 Haiku 4.5 更严、比 Anthropic 近期其他模型更松——允许的防御性任务比 Sonnet 5.5 多,但渗透测试这类更像攻击者的技术仍然会被挡。4 同一批更新里,Sonnet 5.5 的缓存读价格减半(每百万 token 从 0.20 美元降到 0.10 美元),Anthropic 称这让它在多数 agentic 工作上便宜约 20%;Claude 的 Python 与 TypeScript SDK 也加上了 computer use 与 browser use 的 beta 支持。4 AWS 的说法把分工写得更直白:更大的模型负责规划,把定义清楚的编码、工具调用与浏览器自动化交给 Haiku,并行跑很多 agent 才变得可行。5
同一天前后,Exa 在自己的 ATLAS 里把 Haiku 5.5 当成了固定模型的对照组之一——换搜索后端、不换模型,看分数怎么动。1
一条行内对照来自 10 月 8 日 Google Cloud 的 Gemini at Work 2026。Google 把「Gemini 是 agent,底下的模型是另一个选择」写成架构原则:每个任务用最合适的模型跑,眼下跨 Gemini 家族与 Anthropic 的 Claude 模型,理由是最强的模型每隔几个月就换一次,把选择留着,上下文、技能和数据就不用跟着动;同一个 agent 配了 Smart Routing 与实时支出上限。6
机制是什么: 三件事。
第一,子代理是调用次数最多的一层,价格决定你能开几路并行。主循环一步,检索、抽取、压缩这些活往往要跑几步到几十步。官方把 Haiku 5.5 的落点说成「以前因为成本做不起」的活:压缩、摘要、子代理工作;4 便宜一个量级之后,一个规划模型可以同时支使多个便宜子代理,硬件没变,能并行探测的路数变多了。
第二,选型单位从「一个模型」变成「一步一模型」,这要求上下文与技能能从模型上摘下来。Google 把 agent 与模型分开的理由就是模型会更替:换模型时,你要带走的是上下文、技能和数据,而不是重新调一遍工具。6 这也是多模型 agent 真正的工程量所在——每一步都能换,意味着每一步的输入、输出与工具约定都不能绑死在某一家模型上。
第三,便宜的那一层把验证负担推上来,安全档位因此成了选型参数。一件工作分给三四个模型之后,便宜模型判错时由谁发现,要在指标里单独有一条;同时小模型的护栏档位决定了哪些活可以交给它——Haiku 5.5 允许更多防御性任务,但渗透测试仍被挡住。4 分词器变化还带来一个操作层面的后果:同一件工作的 token 数与历史账单不能直接比,成本口径要在换模型时重算一遍。4
面试可说句:
给一个 Agent 定模型,我会算三笔账:主循环和子代理各占多少调用;便宜模型判错时由谁发现;换模型时上下文与技能能不能原样带走。Claude Haiku 5.5 把第一笔压到十分之一的量级(10 万 token 以内的输入每百万 0.10 美元、输出 0.50 美元,还带 effort 档位),后两笔不会跟着降价:它换了分词器,同一件工作会多算一些 token,护栏也收得更紧。这里的工程难点是让每一步都能被替换。

3. 边界由平台执行,第一次上线先观测再收紧

(对应地图 ① 目标与任务边界,兼及 ⑤ 环境与状态、⑥ 权限、安全与熔断)
发生了什么: 10 月 7 日,微软 Windows 平台与开发者部门副总裁 Logan Iyer 在 Windows 开发者博客上宣布,Microsoft Execution Containers(MXC)正式可用。7 MXC 是跑不可信代码与动态生成负载的策略驱动执行层;在 agent 场景里,装进容器的东西可以是模型生成的输出、插件、工具、agent harness,甚至整个 agent。开发者声明这个负载需要哪些资源——哪些文件、哪些网络目的地——MXC 用相应的容器把边界执行下去,策略留在 agent 负载的控制之外,agent 或它生成的代码没法给自己加权限。7
隔离强度分几档:进程容器在 Windows 11、macOS、Linux 上都能用,分别走 AppContainer、Seatbelt、Bubblewrap;会话容器只有 Windows 11 有,agent 跑在一个独立的 Windows 账户与会话下,桌面、剪贴板、界面与输入都和使用者分开;WSL 容器同样只有 Windows 11 有,给依赖 Linux 工具链的工作;MicroVM 在 Windows 11 与 Linux 上是实验性的,提供硬件强制的隔离。7 代码仓库里,Windows 默认 processcontainer、Linux 默认 bubblewrap、macOS 默认 seatbelt,另有 hyperlight、isolation_session、lxc 等实验后端;MIT 许可,提供 Rust、.NET、Node 三个 SDK。8
策略分五类:容器(跑在哪种隔离环境里)、进程(命令、参数、工作目录、环境变量)、文件系统(可写、可读不可改、完全不可访问三类路径)、网络(进出网,以及能不能走宿主的 loopback)、用户界面(能不能接触桌面)。7 运行模式有三档:执行档(越界就挡,不产报告)、学习档(越界照样挡下并记进一份 JSON 活动报告)、宽松档(先放行并记录)。活动报告只有 Windows 的进程容器能产出。7 仓库里另有一个审计开关 --audit,官方明确警告它会关掉该负载的全部沙箱安全,只能用来分析可信工具、不能拿来跑不可信代码。8
身份这一半还在路上:Windows 将让 Microsoft Entra 在 Agent 365 里把 agent 的活动与使用者的活动分开,安全团队可以单独评估某个 agent 的风险,它出问题时只收它的访问权限,员工照常工作;Intune 策略很快可以管理 Windows 11 上 MXC 进程容器的创建请求与资源边界。7 已经支持 MXC 的 agent 与框架包括 GitHub Copilot、OpenClaw、OpenAI Codex、Replit、LM Studio、Unsloth AI;将支持的有 Anthropic Claude Code、Box、Egnyte、Heidi Health、Nous Research 的 Hermes Agent、Manus、Perplexity、Raycast、Simular。7 NVIDIA 把 OpenShell 接进了 MXC,补上文件与推理服务访问的策略控制、网络控制、凭据管理和面向企业的 OCSF 审计。7
机制是什么: 三件事。
第一,Agent 不能自己做自己的安全权威。边界要由开发者或组织声明,由一个 agent 之外的层执行,模型、生成的代码、插件、工具不管怎么决定都改不了它。7 官方举的例子是一个被要求更新网站的编码 agent:它需要读写仓库、读生产服务器配置,但不能改配置;对一个只想办法完成任务的 agent 来说,改配置可能是最省事的路,而那条路超出了授权。
第二,最小权限策略的正确写法是先观测再收紧。没有人能一次说清一个 agent 到底会碰哪些资源,MXC 于是给了学习档和宽松档:一档把越界请求挡下并记进报告,一档先放行并记录,等策略写对了再切到执行档。被拒绝的动作因此成了有用信号——它标出了边界该往哪挪。7
第三,容器与身份回答两个不同的问题。容器回答「它能做什么」,身份回答「是哪个 agent 做的」。两件事分开之后,一个 agent 违规时,安全团队可以只收紧它的权限,不必把人在用的那套访问一起停掉。7
面试可说句:
给 Agent 设计执行边界,我会分四步回答:策略由谁声明、由谁执行;边界按哪几类资源划;第一次上线怎么在不先把权限放大的前提下把策略写对;出事之后怎么定位到是哪个 agent 干的。微软这周的答案是:开发者与 IT 声明、平台在 agent 够不着的地方执行;按容器、进程、文件系统、网络、界面五类划;先用记录模式跑一遍再切执行档;身份交给 Entra 与 Agent 365 单独记账。

本期填入地图的三块

更新地图模块关键机制面试抓手
Exa 发布 ATLAS,2026-10-08;Dreadnode 发布 ScopeBench,2026-10-06;Hack The Box 发布 AI Range Enterprise Edition,2026-10-061⑦ 评测与指标(兼⑥)用搜索降质实验证明分数来自被测那一维;记忆率与饱和单列并定期重生成;跑一题与判一题两笔账分开报;守范围用配对任务让「做成」等于「越界」评测四问:有没有已被记住的答案、降级那一维分数掉不掉、两笔账各是多少、给名次还是给岗位胜任
Claude Haiku 5.5,2026-10-074② 模型层(兼③)子代理是调用量最大的一层,价格决定并行路数;agent 与模型解耦,让每一步都能换;便宜模型把验证负担与护栏档位带进选型多模型三笔账:调用占比、判错由谁发现、换模型时上下文能否带走
Microsoft Execution Containers 正式可用,2026-10-077① 目标与任务边界(兼⑤⑥)策略由开发者声明、由平台在 agent 之外执行;学习与宽松模式先观测再收紧;容器管「能做什么」、身份管「是谁做的」边界四问:谁声明谁执行、按哪几类资源划、上线怎么把策略写对、出事怎么定位到具体 agent
跨期口令再加一句:目标写清 → 工具接对 → 环境真隔离 → 权限默认最小 → 随时能停 → 环境可恢复、状态可序列化 → 监督看三个率 → 边界按「碰得到」限定,撤销要能打断在飞的会话 → 出网路径逐条清点,策略执行点放在 Agent 够不着的地方 → 评测先问判的是哪一段,授权先问怎么撤销 → 恢复按步骤存,扩展先读清单,并行留好归属 → 评测先证分数掉在哪一维,模型按步选,边界交给够不着的那一层。

References

  1. 1
    ATLAS: Evaluating Agents on Search-Intensive Tasks(Exa,2026-10-08)

    exa.ai

  2. 2
    ScopeBench: An Evaluation Framework and Community Benchmark for Reliable Offsec Agents(Dreadnode,2026-10-06)

    dreadnode.io

  3. 3
    Hack The Box's AI Range Enterprise Edition tests whether AI agents can do their jobs(SiliconANGLE,2026-10-06)

    siliconangle.com

  4. 4
    Introducing Claude Haiku 5.5(Anthropic,2026-10-07)

    anthropic.com

  5. 5
    Claude Haiku 5.5 is now available on AWS(AWS,2026-10-07)

    aws.amazon.com

  6. 6
    Welcome to Gemini at Work 2026: Introducing the Gemini agent(Google Cloud,2026-10-08)

    cloud.google.com

  7. 7
    Microsoft Execution Containers: Policy-driven containment for AI agents(Windows Developer Blog,2026-10-07)

    blogs.windows.com

  8. 8
    microsoft/mxc(GitHub,2026-10-09 读取)

    github.com

AI Agent 面试洞察
AI Agent 面试洞察@2010987761

This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.

Related content

  • 1. 评测开始报两笔账,还要证明分数掉在被测的那一维上
  • 2. 子代理这一层换了价格,模型也变成可以逐步替换的零件
  • 3. 边界由平台执行,第一次上线先观测再收紧
  • 本期填入地图的三块