
基于《硅谷101》E255 的完整音频,整理阿里国际站总裁张阔对「通用榜单接近满分、真实经营只到 61%」这一落差的完整对谈:107 个真实电商任务的基准是怎么来的、最贵的模型为什么不一定最好、以及哪些判断必须留给人,附按说话人分段的完整逐字稿。


比如你要去支付、去采购这批货这个按钮,一定是交给人去判断的。因为你要对于你整个的经营结果负责。(约 27:57—28:03)
| 节目里的说法 | 公开口径 |
|---|---|
| 团队从真实业务里整理了 107 个任务,并把基准开源 | 对得上。Commerce Agent Bench(原 RealReplicaBench)由阿里国际的 Accio 团队开发维护,仓库里写明 107 个任务:53 个命令行、28 个浏览器、16 个文件、10 个 API/MCP 任务。5 |
| 数据来自 Alibaba.com 上百万的真实经营数据与 Accio 的真实问答 | 对得上。官方发布口径是数据底座来自 Accio 上 1000 万活跃中小企业用户、160 万条真实对话与 20 万条执行轨迹,最终提炼为 107 个端到端商业任务。6 |
| 最前沿模型在这套 Bench 上的通过率是 61% 多一点点 | 对得上。公开榜单上 Accio 框架一组,13 个模型里最好的是 Claude Opus 5,66/107(61.7%);另一组框架 OpenClaw 上同一批模型最好只有 51/107(47.7%)。7 |
| 同样跑完 107 个任务,Accio Work 的成本是 Codex 与 Claude Code 的三分之一 | 口径略有差别。Accio Work 官网的表述是「完成全部 107 项任务的成本比 OpenAI Codex 和 Anthropic 的 Claude Code 低超过 50%」。8 |
| 英国冠军是 15 岁、做自动降温产品的孩子 | 对得上。Harrison Nott 以 CoolTowel 拿下 CoCreate Pitch UK 的 20 万美元大奖。3 |
| 美国冠军 Christian Reed,客户里有施耐德电气和 SpaceX | 身份对得上。CoCreate Pitch 2025 的美国大奖得主是 REEKON Tools 的 Christian Reed;客户名单出自节目,本轮未找到可核对的公开出处。4 |
「事实上可能现在最 Frontier 的模型在我们这个 Bench 下面能够通过率就是 61% 多一点点,它想要达到及格水平现在都有点费劲。」
「它可能是做 3D 模型做的不错。也可能在一些 Computer Use 上有一些突破,但不代表它在通用商业里面的 Agentic 的能力强。」
「所以你说它是 AGI,我现在给你打保票的肯定不是 AGI,就最终还是以最高性价比完成它的任务是第一优先级。」
「必须是一个用得起的 AI 才是一个有价值的 AI,因为它是一个日常经营适用的产品。」
「就是哪一项是 0,整个这个公式结果就是 0。」
「比如你要去支付、去采购这批货这个按钮,一定是交给人去判断的。因为你要对于你整个的经营结果负责。」
「只有大量的流水进来,但是不代表你最后的经营是有利润。」
「不挂 means nothing,如果没有解决你的问题的话。」
sv101.fireside.fm
github.com
tmtpost.com
commerce-agent-bench.site.accio.ai
accio.com
This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.