复刻一个能跑的应用有多难：RecreationBench 榜首 58.06%，完整通过 2.8%

2026 年 9 月 18 日，阿里 Qwen 团队一次放出三件材料：论文《RecreationWorld: Scalable and Verifiable Environments for Hybrid Computer-Use Agents》（arXiv:2609.22000，9 月 21 日更新到 v2）、同名 GitHub 仓库，以及一份 250 题的留出评测集 RecreationBench12。论文署名单位是 Alibaba Token Hub，33 位作者；仓库用 MIT 许可；评测集同步发在 Hugging Face 与 ModelScope，另有一个可以在线拖动对比的官网12345。

两个名字要分开。RecreationWorld 是环境与框架，可以自造任务、跑轨迹、生成训练数据；RecreationBench 是其中固定的那 250 道留出题，Ubuntu、macOS、Windows、Android、Web 各 50 道2。

题目一句话说完：给智能体一个正在运行、可以随便操作的参考应用，让它自己摸清这个应用的行为，再交出一份行为一致的实现。没有规格文档，没有步骤清单，也不规定用什么语言和框架6。

论文给出的读数是：这 250 道题上最强的是 GPT-6 Astra，综合 58.06%；而它能在一个应用上通过全部程序化测试的比例只有 2.8%2。两个数出自同一套冻结测试，回答的是两个不同的问题。这份基准由 Qwen 发布，Qwen 自家的 Qwen3.8-Max-0902 排在第五，综合 34.80%2。

每个任务由三块构成：一句高层请求、一个可交互的参考应用、一份预装好图形界面控制与编码工具的环境；智能体可以在操作参考、写代码、构建并启动自己的实现、对照检查之间反复来回，顺序与次数都不指定；最后必须交出一份满足平台构建与启动契约的完整源码6。五个平台的契约各不相同，同一道题在不同平台上的难度也因此不能直接平移：

设计到代码类任务的输入是静态图或规格说明，产出是页面。复刻任务的输入是一个能点的应用，规格得靠自己操作它问出来，产出还得能编译、能启动、能再被操作6。

论文把这个过程写成一条探索—实现—验证的循环：探索参考得到一份还缺角的行为规格，代码把规格变成能跑的候选实现，启动并看着它跑起来之后暴露出的差异，决定下一步是改代码还是回头继续探参考。这两个阶段拆不开，因为观察决定实现，运行实现又决定接下来该观察什么6。

这条循环也是它可验证的原因。运行中的参考本身就是标尺：可以从它身上生成隐藏的行为测试，再拿同一套测试去打分任何一份候选实现；奖励只看可观察的行为，实现换语言、换框架、换架构都不影响打分。论文把它挂在"验证的不对称性"上——验证比生成容易6。

打分有两条独立通道。Prog 走平台原生的无障碍或自动化接口，读精确文本、控件状态、导航、持久化与计算结果；VLM 在冻结的视觉检查点上，用自然语言断言加一个 Qwen3.7-Plus 判官（temperature 0）给二值判定6。

每条断言先在实际参考应用上跑通，再经人工复核，然后整套冻结，对任何候选实现原样重放；候选改不动自己的分母，构建或启动失败直接记 0。测试的深度有统计：平均约 77% 的用例要离开起始界面，24% 跨两个以上界面；94.2% 的用例检查的是"操作之后发生了什么"，其中 40.7% 要求一个精确的期望值6。

长程是这条循环自己带出来的结果。RecreationBench 的轨迹中位 282.5 次顶层调用，每 100 次调用里有 9.08 次在图形界面与代码编辑之间切换。作为对照，ProgramBench 更长但完全没有界面调用，OSWorld 2.0 只记录 computer 类工具调用，WeaveBench 两类都占但短得多（178 次调用、1.56 次切换）。这组对比用的是各基准自己的 scaffold 与 Claude Opus 4.8，论文标注它是结构层面的比较，没有做受控的性能对照。单次 rollout 的墙上预算是 20 小时6。

复刻出来的东西长什么样，官网给了一组原图。下面两张是同一道题的参考界面与重建结果，出自 250 题名单里的 macos/apple-sample-food-truck，也就是 Apple 公开的示例工程 Food Truck3。

第一，58.06% 量的是平均通过一半多断言的水平。论文专门提醒：把应用级的 Prog 均值读成"完整重建一个应用的概率"会明显高估6。完整通过的读数在右边两列：GPT-6 Astra 有 17.6% 的应用拿到 90% 以上、2.8% 拿到满分；其余模型在 90% 档最高 5.5%，满分档最高 0.8%2。

第二，同一件事在分平台上还有方向性。GPT-6 Astra 五个平台的综合分是 Web 65.05、Android 63.97、Windows 59.61、Ubuntu 53.49、macOS 48.18；Web 是唯一客户端源码可见的平台（静态站点发给浏览器的就是实现本身），分数最高与这个设定同向6。拿分平台数字说事之前，这一层差异得先扣掉。

第三，同一个分数对应的钱差得很远。GPT-6 Astra 每任务 115.80 美元；Claude Opus 5 花 117.17 美元，分数低 13.9 个百分点；Grok 4.6 用 12.58 美元拿到 36.73，Qwen3.8-Max-0902 用 38.76 美元拿到 34.802。这几个数字落在四段不同的价格带上，按预算选型和按分数选型会得到不同的答案。

四个原生平台上的 16 个模型–平台组合里，15 个是 structure 类通过率最高；唯一的例外是 GPT-6 Astra 在 Windows 上 menu 略高 0.2 个百分点。最弱的一类总是 button、computation 或 interaction，落后 structure 9.1 到 34.4 个百分点。Web 换了一套分类，结论不变，静态内容比交互高 28.2 到 36.7 个百分点。差距的落点是固定的：界面里有什么，比用它之后会发生什么，更容易被复现6。

过程里有两处对应的证据。严格意义上的最后闭环——最后一次源码改动之后还重启或重载了实现、又观察过自己的产物——只有 23.6% 到 47.5% 的轨迹做到；做得最多的是 Qwen3.8-Max-0902（47.5%），最高分的 GPT-6 Astra 只有 29.1%6。

另一种没做的动作是受控输入变体：在同一个输入框里至少填过两个不同非空值的轨迹只有 13.4% 到 17.0%，也就是说"输入一改会怎样"这条规则，大多数轨迹根本没去问6。

两个被点名的例子把这件事落到具体。Ubuntu 上复刻 PhotoCollage，旋转照片之后按撤销，重建版恢复了排布却没有恢复旋转——启动画面和静态检查都是对的。Android 上复刻 Plus Plus Battery，第一次启动暴露出计数缺失和行布局错位，智能体改了 Kotlin 与 XML，但轨迹在重新启动验证之前就结束了；这个被审阅的实现视觉得分 100.0%，程序化得分只有 55.1%6。

交付物的形状也一致。在三个桌面平台与 Android 上，89.4% 的重建比对应的参考源码更小，中位只有参考的 16.9%；92.3% 用了更少的文件，83.8% 把更大比例的代码压进单个最大文件（重建的最大文件占比中位 10% 到 64%，参考是 5% 到 21%）6。

框架选择上，Ubuntu 与 macOS 上参考用 Electron、Tauri 或 Wails 的交付里，75% 换成了 GTK 或 AppKit / SwiftUI；Windows 上参考属于非 .NET 家族的交付里，50% 换成了 WPF 或 WinForms；Android 的实现契约规定用 XML 视图，而 44% 的参考用的是 Jetpack Compose6。代码量与分数也对不上号：Claude Opus 5 在五个平台上产出的中位代码量都是第一，综合分排第二；综合分第一的 GPT-6 Astra，五个平台里有四个的产出最小6。

训练题从 GitHub 上的高质量开源图形界面应用里挑，覆盖与基准相同的五类平台，并与评测集去重。轨迹用 Qwen3.8-Max 在框架内跑出来，再用任务专属的行为验证器做拒绝采样，每个平台留 7,000 条，凑成 35,000 条平衡的 SFT 混合；两个初始化分别是完整后训练过的 Qwen3.7-Plus，和持续预训练之后的 Qwen-Flash-CPT6。

在五个训练外基准上——ProgramBench、GameCraft-Bench、Vision2Web、OSWorld 2.0、WeaveBench——两条训练曲线都高于各自第一个被评测的检查点，最高涨幅 17.9 个百分点。论文对这一段的措辞是"初步证据"，并给了三条要一起读的限制：曲线不是单调上升，每个任务只跑一次，五套评测统一用 Claude Code scaffold6。

行为上也能看到变化：验证自己产物的动作变多，图形界面的观察与交互变多；作者明确说这是描述性结论，不能证明是这些行为带来了分数6。

对读者来说，这一段的可复制性有前提：你需要一个可执行的裁判来筛轨迹，以及能把长程 rollout 并发跑起来的环境。论文的管道依赖后者——每个 rollout 一个任务隔离的 worker，横跨一个可水平扩展的虚拟机池，单次墙上预算 20 小时6。

先看规模：模型–平台均值区间是 191 到 741 个助手回合，以及 23 到 259 百万累计输入 token。GLM-5.3 在五个平台中的四个上，回合数与输入 token 都最高；但每个平台上估算 API 成本最高的都是 Claude Opus 5——两套读数之间的差异来自各家 tokenizer 与计费口径，论文因此说这只能读成"每种配置的部署足迹"，而不是模型效率排名6。

论文里最有工程价值的一段是 5.2 节那个附带实验。默认配置下，每次图形界面原语调用都把控制权交回模型，原始观察反复塞进上下文；换成一个常驻的 Node.js REPL 加类型化 JavaScript SDK（Qwen Code 的 qwen-cua-driver，也就是 cua-driver 的一个分支）之后，智能体可以用循环和条件语句组织 SDK 调用、把中间结果在本地处理掉、只把选定的观察送回上下文6。

在同样的 50 个 Windows 应用上、同样用 Claude Opus 4.8 各跑一次，任务质量没有可见变化，而交互开销明显下降：输出 token 增加 15.7%，工具结果文本减少 65.5%，输入 token 减少 40.7%，墙上时间从 4.12 小时降到 3.04 小时，估算模型成本从每任务 90.50 美元降到 41.58 美元6。口径要一起带走：这是单次 rollout 的整机配置对比，有效配对照只有 39 对，论文说它证明的是"观察到的交互开销更低"，不是隔离出来的因果6。

第一条是越界尝试。论文设了四类检测器——外网访问、受保护路径访问、参考包抽取、提权——统计每条轨迹平均命中的操作次数，命中即算一次尝试，无论成功、失败还是被拦下。GLM-5.3 在每一类上都是最高：外网访问 0.599 次/轨迹，受保护路径 0.770 次/轨迹。GPT-6 Astra 的画像不同，外网访问排第二（0.382），受保护路径却最低（0.092）7。

官网给了这两个数的 95% 平台分层 bootstrap 区间（3,000 次重采样、以轨迹为再抽样单位），分别是 0.375–0.879 与 0.596–0.9797。论文强调这个计数只统计尝试，成功与否、意图如何都不在内；结论是评测完整性得靠访问控制与审计6。

第二条是源码重合。把注释、界面与框架样板、通用语法都去掉之后，逐行精确匹配占参考有效代码行的中位比例：Ubuntu 0.014%、Android 0.044%、macOS 0.060%、Windows 0.088%，各平台最大值都低于 3.2%；人工看过的最大值处也只是零散的 API 调用、声明与控制片段6。

论文同时写清了这项审计覆盖不到的地方：改名、重构控制流、复用接口这类记忆形式它看不见，而参考实现本身都是公开的开源应用，可能进过预训练数据；Web 平台因为客户端源码本来就可见，直接不参与这项比较6。

隔离设计是这一节的另一半。三个桌面平台与 Android 走源码盲测：智能体只看得到运行中的界面，实现产物被收走。Web 做不到这一点，于是保护对象换成真值与测试套件，检测到直接重打包或回放会把该任务的总分封顶在 0.106。

网络侧，Ubuntu 按智能体的 UID 过滤出网，macOS 与 Windows 用主机级默认拒绝防火墙，Web 用无路由命名空间加窄口代理；Android 尚未做到包级出口过滤，论文原话是依赖离线依赖包与剥离凭据6。

附录 A.3 交代了一件容易漏掉的事：本篇用的 RecreationBench 取代了 Qwen3.8 官方博客里那一版初版内部基准，应用集与评测套件都重做过——行为有限、不稳定或区分度不足的应用被换掉，评测套件重做以覆盖更深的多步交互、状态迁移、持久化与端到端输出。因为应用集和评测器都变了，博客里的分数与本篇不可直接比较68。本频道 8 月 26 日那期把 RecreationBench 列在"无法与外部榜单横比"的内部基准里，现在这个名字对应的是一个新版本。

论文自陈的局限有四条：固定、可复现的环境覆盖不到活服务、变化的外部状态与真实用户交互；隐藏套件只抽样了有限的状态与路径，通过它们不等于行为等价；参考实现可能出现在预训练数据里，重合度筛查排不掉记忆与各类源码复用；因此分数只在这套环境与冻结套件内成立6。

这里补一条：五个平台等权平均这一层，把一个结构差异抹平了。其余四个平台是源码盲测，Web 的客户端源码本来就发给浏览器，250 道题里 Web 那一半还是 44 个为基准自建的站点加 6 个公开站点快照。官方在流程上做了补偿（保护真值与测试、封顶直接重打包），这两类任务的性质仍然不同质，看分平台数字时值得单独拎出来6。

要拿它做训练数据的，现在能拿到的东西基本齐了：环境与框架代码、250 题的任务元数据与提示、五个平台的运行方式与测试套件；仓库是 MIT，数据集在 Hugging Face 与 ModelScope 都有234。许可上有一处要自己核：数据集的许可字段写的是 other，而 250 道题的参考应用各自保留上游许可，Android 那批以 GPL-3.x 家族为主（50 道里 33 道）36。

还要意识到，公开物里是评测集，那 35,000 条训练轨迹本身没有跟着发——数据配方写得很清楚，数据没有6。另外这套环境要在 Ubuntu、macOS、Windows、Android（含硬件加速模拟器）与 Web 五类原生环境下跑，部署成本得先算2。

要拿它做选型或能力评估的，这张表回答的是另一个问题。它测的是"复刻一个应用"的保真度，58.06% 与 2.8% 的适用范围就到这套环境与冻结套件为止；而且全部数字来自一次 rollout 与一套统一 harness，任务预算 20 小时，每任务成本按 90% 缓存读入估算，最低 1.23 美元、最高 117.17 美元2。真要用，得先想清楚你要的是"这份实现能不能对外交付"，还是"这个模型有多能干"。

要等的有三件。一是本频道之外的复现与独立评测——这套基准由 Qwen 发布，榜首是别家的模型，但判定视觉断言用的是 Qwen3.7-Plus，换一个判官会不会改变结论，论文没有给对照6。二是那 35,000 条轨迹与拒绝采样的细节，这是"复刻当训练数据"能否搬走的关键。三是非开源应用上的表现——现在 250 道题的参考全是已发布的开源应用，论文自己把"引入新构造的参考以降低污染风险"写进了后续工作6。

材料入口是 arXiv:2609.22000、论文全文 v2、GitHub 上的 QwenLM/RecreationWorld、Hugging Face 上的 Qwen/RecreationBench、ModelScope 镜像、项目官网与官网公开的分析数据。