同一个模型，55.0% 和 5.42%

10 月 6 日，OpenAI 公布了它在这条线上的第一个外部合作方：做合同管理软件的 Ironclad。公告的副标题写得很直白——在合同这门生意里做研究合作，帮助训练和评测 AI agent 处理复杂的专业工作1。

这篇公告的发布时刻只能部分取证：页面本身没有 article:published_time，也没有更新记录；官方新闻 RSS 里这条的 pubDate 是 10 月 6 日 18:00（北京时间），但整点值是 CMS 写法，不等于发布瞬间；Wayback 最早一次抓取要到 10 月 7 日 08:46，而且状态码 204、没有正文入库。第三方最早提到这篇稿子的时间，是 10 月 7 日 01:441。

公告把任务写得非常具体：Ironclad 的员工，加上在 OpenAI 内部使用 Ironclad 的人，和 OpenAI 的研究员一起挑出了 11 项任务，覆盖法律、商务与采购，包括签保密协议、搭建采购审批流程、按请求人选定的辖区改写一条可复用的法律条款。官方估计，有经验的用户平均每项要花 30 到 40 分钟；每项任务用 8 到 50 条判据来评，按复杂度定1。

训练环境由 Ironclad 提供：他们把产品的托管环境给了 OpenAI，模型的训练任务则由 OpenAI 自己合成。任务素材的来源写在脚注里，是这份公告里唯一写清数据边界的地方——合成任务取自 SEC 的 EDGAR 数据库里的公开合同，先做过滤以去掉个人信息；没有用 OpenAI 的客户数据、OpenAI 内部合同，也没有用 Ironclad 未公开的客户数据与合同1。

有一格没写：这 8 到 50 条判据是谁写的。公告只写「我们」用这些判据评了每一道题。

官方给的成绩是：在这 11 道研究任务上，GPT-6 Astra 平均 55.0%，上一代 GPT-5.6 Sol 是 41.6%，另有一个开发过程中的内部模型拿到 63.7%；每次尝试的估计用时从 37.0 分钟降到 19.2 分钟。官方自己加了两条限制：这些成绩只覆盖这 11 道题，不代表全部工作流；用时是按模型处理与生成速度模拟出来的估计，不是实测的客户节省1。

而独立榜单给同一个模型的读数是 5.42%。Vals AI 跑的 Harvey Legal Agent Benchmark，用的是 Harvey 自己的评分协议——每份提交由两个 LLM 判官按专家写好的判据逐条打，只要有一条判据不过，这道题就算没过2。Harvey 把这条规则叫做 all-pass grading，他们的说法是：高风险法律工作的复核本来就是这个样子，抓住大部分问题不给部分分3。

两边的题量也差得远。Harvey 的榜第一版有 1,200 多道 agent 任务，覆盖 24 个法律领域，由 7 万 5 千多条专家写的评分条款来判；首轮结果是，在他们那套全通过标准下，当时参评的前沿模型整体完成率不到 10%3。

所以 55.0% 与 5.42% 不是同一个模型在两个难度上的两个水平，而是同一类工作在两种算分方式下的两个读数：一边按条取平均，一边要求全对；一边是 11 道题，一边是 1,200 多道。

OpenAI 官网 2023 年 10 月就挂过 Ironclad 的客户故事，署名的是当时的 Ironclad CEO Jason Boehmig4。Ironclad 2025 年 8 月与 Harvey 建立战略合作时，新闻稿里把 OpenAI 写在客户名单里。2026 年 6 月 1 日，Boehmig 入职 OpenAI，负责法务竖线的产品；他同时仍是 Ironclad 的执行董事长56。7 月 22 日，OpenAI 与 Willkie 律所合作，是 Boehmig 入职后第一个法律行业公告7。

Ironclad 自己这一侧没有对应的发布稿：它的新闻室页面与「In the news」栏目里，最新条目分别停在 8 月 5 日与 8 月 23 日，没有这一条。OpenAI 的主号与开发者号在这两天也没有为这篇稿子发帖1。

公告最后在招募下一批合作方，条件是三样：能带来真正懂这门工作的人、一个可以测试的安全环境、以及可以安全用于研究的数据8。

专业工作的 agent 分数，从这周开始会多起来，而且会很不一样。看到任何一个数，先问四件事：判据是谁写的、按条取平均还是要求全通过、一共多少道题、训练与评测的数据从哪来。前三条决定这个数能不能和别的数并排比；第四条决定你的合同、工单或者病历会不会进去。

在这份公告里，四条里只有一条写清楚了。