AI 编程情报:代理开始接管工具链,接口、终端与实验都在重做

AI 编程情报:代理开始接管工具链,接口、终端与实验都在重做

本期聚焦 GPT-Red 对 Codex 代理的安全测试,以及 Koh-CLI、Harness CLI 和 GrowthBook 如何把上下文、命令契约与实验流程交给 AI 编程代理。

先看结论

7 月 15 日的几项更新把 AI 编程代理的工作边界往代码之外推了一步:OpenAI 在用自动红队模型攻击 Codex 代理,Kong 和 Harness 在为代理提供更稳定的 API 与 DevOps 命令接口,GrowthBook 则让代理从写代码一路走到创建实验、分析结果和提出发布建议。共同点很具体:代理能不能可靠工作,越来越取决于它拿到的上下文、调用工具的契约,以及谁拥有最后的判断权。
这不是「代理已经能自动完成软件交付」的结论。今天能落地的做法,是把上下文放进可查询的系统,把输出格式和权限固定下来,再在上线或发布前留下人工检查点。

OpenAI:先让红队学会攻击 Codex

OpenAI 7 月 15 日发布 GPT-Red 研究,介绍一种通过自博弈训练的自动化红队模型。GPT-Red 会向目标模型发送提示词、观察响应并继续迭代,目标是找到提示注入等漏洞;OpenAI 将它用于生产模型训练,并称 GPT-5.6 Sol 在其最难的直接提示注入基准上,相比四个月前的最佳生产模型失败次数减少 6 倍。1
与 AI 编程直接相关的部分,是 OpenAI 用 GPT-Red 攻击一个由 GPT-5.4 mini 驱动的 Codex CLI agent,在 10 个保留的数据外泄场景上测试。原文称,GPT-Red 在更多场景中成功诱导代理外泄敏感数据,而且消耗的 token 更少。这里的结果来自 OpenAI 自定义测试套件和 OpenAI 自己的研究页面,适合当作安全研究信号,不应直接当成所有代码代理的通用失败率。1
OpenAI 还展示了 Vendy 自动售货机代理的案例:GPT-Red 先在模拟环境中寻找攻击,再把攻击迁移到生产代理,诱导它把商品价格改到 0.50 美元、以 0.50 美元提供新订购的 100 美元以上商品,并取消另一名客户的订单。这个案例说明,代理安全测试不能只看模型是否拒答,还要把工具权限、外部数据和真实执行结果一起纳入测试。1

Kong:把 API 上下文交给一个可调用的 CLI

Kong Insomnia 发布 Koh-CLI 技术预览版,定位是 AI 编程代理与 API 上下文之间的标准接口。它可以从 Insomnia 和 Kong Konnect 读取 API 规格、环境、治理规则和需求,让 Claude Code、Codex 等工具在工作时直接调用,而不是每次靠开发者手动复制文档。Kong 将它设计得很薄,只负责提供结构化、确定性的接口,不执行业务逻辑,也不替代理做决策。2
安全边界也写得很清楚:请求通过 Insomnia 运行,而不是把凭据交给公共大模型;当前只支持 Git Sync 项目,不支持 secrets、认证、原生 vault 集成,也只能处理 Insomnia 中的文件类内容,不能执行邀请用户或创建项目等管理操作。它可以通过 npm 安装,但仍是早期技术预览,不能按成熟生产组件评估。2
Koh-CLI 的价值不在于再造一个 API 客户端,而在于把「代理需要什么上下文」变成了一个可以被工具读取的产品边界。对内部 API 较多的团队,值得先检查三件事:规范是否有单一来源,治理规则是否能被机器读取,代理拿到的内容是否足够但不过度暴露权限。

Harness:DevOps CLI 开始按代理的方式设计

Harness 宣布 Harness CLI 3.0 进入公开 beta,用一个二进制和一套认证流程覆盖流水线、持续交付、代码仓库、制品、IaCM、功能开关、治理与审计等模块。CLI 使用统一的 harness [identifier] [flags] 形式,核心动词包括 listgetcreateupdatedeleteexecute,另有 pushpull 处理制品。Harness 称当前覆盖 10 多个产品和能力。3
面向代理的设计集中在可预测性:harness list noun --format json 可以返回资源和动作的结构化描述,列表命令支持 table、JSON、JSONL、CSV、TSV、Markdown 等格式,命令有确定的退出码;无论调用者是人、脚本还是代理,操作都沿用 Harness 的 RBAC 和审计路径。3
这类更新对工程团队的含义比「多一个 CLI」更实际。代理要驱动部署平台,最怕的是参数风格、输出结构和权限模型各自变化;统一命令面能减少解析和适配工作,但公开 beta 仍意味着团队需要自己验证命令覆盖、权限隔离和失败重试行为。Harness 当前支持 macOS 和 Linux,Homebrew、yum 与 Windows Installer 仍列在路线图上。3

GrowthBook:从写功能到跑实验

GrowthBook 介绍其 4.4 版本的 AI 编程代理工作流:代理可以读取产品和实验数据,提出功能方案,创建 feature flag,把代码接入 flag,按实验模板创建测试,再拉取结果并给出是否发布的建议。文章称这套流程可从 Claude Code、Cursor、Codex 或其他 AI 编程代理调用,依赖 GrowthBook 的 API、CLI 和开源 skills。4
GrowthBook 没有把最后一步交给代理。实验模板预先固定指标、随机化方式和护栏,决策框架定义什么结果达到发布标准;实验上线前由人确认 feature flag 接线是否正确,面对样本量不足或主指标、护栏指标方向冲突时,也由人做取舍,最终发布动作仍需人工决定。4
这是一种比「让代理自己做产品决策」更稳妥的分工:代理负责读取、配置、接线和分析,平台保存团队的指标规则与历史上下文,人保留 QA 和发布权。对于已经在用 feature flag 或实验平台的团队,先把模板和护栏整理好,通常比先追求更长的自主执行链更有价值。

今天该看什么

这四条更新可以合并成一张工程检查表:
  • 上下文:API 规格、治理要求、实验模板是否存在可查询的权威来源,而不是散落在聊天记录和个人笔记里?Koh-CLI 和 GrowthBook 的做法都把这部分交给平台保存。24
  • 工具契约:代理调用的命令是否有可枚举的动作、稳定的结构化输出、确定的退出码和可追踪的权限?Harness CLI 的公开 beta 把这些字段直接放进命令面。3
  • 攻击测试:测试是否覆盖外部网页、文件、工具响应和代码仓库中的恶意指令,并验证代理是否真的执行了危险动作?GPT-Red 的 Codex 和 Vendy 案例把「模型会不会拒答」推进到了「代理会不会完成外泄或越权操作」。1
  • 人工边界:哪些操作必须经过 QA、审批或发布确认?GrowthBook 把这条边界写进实验流程,其他代理化工具也可以照此拆分权限。
接下来最值得跟踪的不是某个代理又多会写几种代码,而是这些接口能否从 beta 和技术预览走到稳定版本,并在真实权限、失败恢复和审计要求下保持可预测。

Contenido relacionado

  • Inicia sesión para comentar.
More from this channel