评测、开放模型与可撤回权限：AI 开始进入可控工作流｜8月23日精选 (2026)

窗口：北京时间 2026 年 8 月 23 日 00:05 至 8 月 24 日 00:05。

模型更便宜、开放权重占比上升之后，AI 产品团队面对的具体问题变成了三件事：哪条工作流真的变好了，用户交给 agent 的数据能不能收回来，组织有没有让个人把工具变成产出的条件。本期最密集的信号，集中在这三件事上。

企业先要知道哪条工作流变好了

Aaron Levie 是 Box CEO。北京时间 8 月 23 日 10:57，他说，模型发布时常见的 eval 能帮助人们理解整体进展和模型之间的相对能力；企业更大的评测空间，来自每家公司每天真正执行的工作流，而且要细到具体公司的任务。Levie 的判断很直接：团队无法自动化自己无法评估进展的事情，企业也不能只凭感觉选模型。1

Loading content card…

这里的「工作流 eval」可以先理解成一组针对真实任务的检查：客服回复是否符合公司的规则，财务分析是否抓住关键风险，代码代理是否在正确的目录里完成了修改。它和模型发布时的通用测评分数解决的是两种问题。前者帮助团队决定某个模型、提示词或工具组合能不能承担一项工作；后者帮助读者比较模型的大致能力位置。

Madhu Guru 是 Meta AI 高级总监，曾在 Google 负责 Gemini、Veo 和 Nano Banana。北京时间 8 月 23 日 05:37，他把 eval 的使用方式说得更接近工程现场：先挑一个真正重要的维度，再围绕这个维度持续改进。这个维度可以是高价值用户路径的质量、相邻场景的覆盖、成本或延迟。2

Madhu 还把「失败模式分类」当作排查方向的指南。失败模式分类，就是把工具调用失败、上下文缺失、输出格式错误等问题分成可重复识别的类别。他举的例子是：如果工具调用失败最常见，团队可能发现模型一次拿到了 20 个工具，而每个任务其实只需要 3—5 个；接下来就应当调整上下文，让任务在正确阶段看到正确的工具，再用 eval 检查结果是否变好。

这条建议把「换一个更强的模型」放回了更大的工具箱。Madhu 列出的办法还包括提示词工程、上下文工程、记忆、后训练和确定性的传统代码。团队可以先用最强模型把用户体验做出来，再用 eval 验证更小、更便宜、更快的模型能否达到相近质量。这个顺序来自 Madhu 的方法分享，实际成本和质量仍要由每个产品自己的任务数据决定。2

Peter Yang 在北京时间 8 月 23 日 22:15 分享了一期关于 AI eval 的访谈。他说，建立 eval 仍然要从真实数据开始；agent 可以帮助人整理大量反馈，把反馈归并成可执行的评分标准。访谈嘉宾 Shreya 和 Hamel 还强调，agent 可以归纳反馈，但评测标准里最重要的判断和取舍仍然来自人。Peter 说，他让两位嘉宾现场审阅自己为 creator skills 建立的 eval，并公开了一个可以在 Claude Code 或 Codex 中使用的免费 skill。3

Loading content card…

三条帖子合在一起，给产品团队留下了一条可执行的检查顺序：先找真实任务和真实失败，再按失败类别定位原因，最后用分项结果判断一次修改是否真的让关键路径变好。一个总分可以方便汇报，分项结果才方便修复。

开放模型的价值，开始落在可改造的软件上

北京时间 8 月 23 日 02:40，Guillermo Rauch 分享了 Vercel AI Gateway 自己的流量观察：8 月 22 日，开放权重模型占当天 token 的 62%，闭源模型占 38%；他把这个比例与 6 月 24 日的 28.4% 对比，并认为这可能只是开始。Rauch 同时说，企业采用仍处于早期，harness、CLI、IDE 和 SDK 都需要适应模型无关的调用方式。4

Loading content card…

这组数字属于 Vercel AI Gateway 的平台内观察，分母是该网关当天的 token 流量。它可以作为路由变化的方向信号，不能直接当作整个市场的开放模型份额。对工程团队更有用的部分，是 Rauch 提到的配套工作：当模型来源更分散，应用还要在运行时、命令行工具、开发环境和 SDK 层面处理模型切换。

Rauch 同一天还展示了一个更小的个人实验。北京时间 8 月 23 日 02:21，他说自己用 fx 做了一个叫 Mini 的个人浏览器，用来处理屏幕共享、直播或临时测试这类不想带着完整浏览器状态的任务。他把这次体验描述为：开放模型让个人软件变得便宜、可改造，也更容易按需要临时做出来。5

Loading content card…

Mini 是 Rauch 的个人项目和个人体验。帖子没有给出成本明细、性能测试或长期维护结果。它提供的观察点却很具体：当模型调用足够便宜，软件的形态可能从「购买一个功能完整的产品」转向「为一次任务做一个能马上使用的小工具」。企业若要判断这条路是否成立，仍要看这些小工具能否被权限、版本、数据留存和后续维护接住。

数据权限要变成用户能执行的动作

Peter Yang 在北京时间 8 月 23 日 09:06 分享了一套清理 Google 账号第三方连接的做法。他让用户打开 Google 账号的连接管理页面，再让 Codex 或 Claude Code 读取浏览器当前标签页，最后选择需要移除的应用并执行删除。Peter 说，自己用这套方法断开了大约一半不再需要访问 Google 信息的应用。6

Loading content card…

这条帖的价值在于动作链，而不在于一句「保护隐私」的口号：先找到权限总表，再让 agent 协助识别，最后由用户选择并撤回。Peter 的「一半」是个人账号的自述，帖子也没有提供 Google 对外部应用数据处理的完整说明。读者如果把这套方法用于自己的账号，仍要逐项查看应用名称、授权范围和最近使用情况。

前一节的工作流 eval 与这里的权限撤回，其实对应同一个产品问题：系统能不能让人检查关键状态。评测要让团队看见任务哪里变差，权限页面要让用户看见哪些应用还在获得数据。两者都需要具体的入口和可复查的动作。

AI 杠杆取决于组织是否允许它落地

Zara Zhang 在北京时间 8 月 23 日 12:17 写道，她观察到一个现象：有才能的人在做自己的项目时，借助 AI 可能达到原来潜力的 10 倍；同一个人进入大组织后，潜力提升可能只有 20%，有时还会下降。她把越来越多人才离开大公司的现象与这组观察联系起来，并把 OpenAI、Anthropic 这样的顶尖 AI 实验室视为例外。7

Loading content card…

10 倍和 20% 是 Zara 的判断数字，不是她在帖中展示的统计结果。这个边界需要保留。它仍然提出了一个值得产品负责人和管理者检查的问题：员工拿到 AI 工具后，是否有权访问完成任务所需的数据，是否能快速试错，是否有人能在结果进入生产前验收？如果每一步都要等待多层审批，个人工具带来的速度就可能被组织流程抵消。

北京时间 8 月 23 日 09:34，Zara 又写了一句短帖：「Everyone who’s ahead in using AI thinks they’re behind」。这句话更像个人观察和情绪信号，信息量低于前一条；它可以提醒团队区分「工具使用频率」与「是否已经找到稳定产出」，却不足以支持关于 AI 采用率或人才流动的结论。8

窗口末尾的轻量信号

Amjad Masad 在北京时间 8 月 23 日 10:08 转发 Replit 团队的周更清单，只补了一句：「A week has 7 days / That means 7 ships」。这条帖适合当作产品节奏的入口：被他转发的清单列出 Free Mode、Conversations、Routines、从 GitHub 导入 skills、工作区模型控制和黑盒渗透测试等更新。Amjad 的一句话没有说明每项更新的功能边界、可用范围或实际效果，因此本期把它放在跟踪区，不把周更清单扩写成产品能力结论。9

接下来值得检查的五个问题

企业 eval 是否绑定了具体工作流、失败类别和上线门槛，而不是只保留一个方便汇报的总分？
开放权重 token 占比在更多网关和更长时间窗口里是否仍会上升？应用的 harness、CLI、IDE 和 SDK 能否真正做到模型无关？
用便宜模型临时生成的个人软件，能否被版本管理、权限控制和数据留存规则长期接住？
agent 访问 Gmail、日历和其他外部数据时，用户能否找到授权总表、删除入口和操作记录？
组织给员工安装 AI 工具之后，是否同时给了数据访问权、试错空间和明确的验收责任？

今天的帖子把「模型更强、更便宜」落到了几个可以动手检查的地方：工作流评测、失败分类、模型无关的工具链、数据撤回和组织权限。读者可以用这些具体入口判断一条 AI 信号究竟已经进入工作，还是仍停留在演示和个人体验阶段。

评测、开放模型与可撤回权限：AI 开始进入可控工作流｜8月23日精选

企业先要知道哪条工作流变好了

开放模型的价值，开始落在可改造的软件上

数据权限要变成用户能执行的动作

AI 杠杆取决于组织是否允许它落地

窗口末尾的轻量信号

接下来值得检查的五个问题

References

Related content