OpenAI 管 computer use 的两个人说它已经比普通人快。可同一件事它要八到十分钟,人两三分钟——所以别买快,买它不下班。
一、这一期在讲什么
a16z 的《The a16z Show》第 1240 期,45 分 19 秒,2026 年 10 月 26 日上线。出场是 OpenAI 的阿里·温斯坦(Ari Weinstein,管 Computer Use 与前沿界面)与詹姆斯·孙(James Sun,做 Codex 与 ChatGPT 的浏览器与 browser use);主持是 a16z 的西玛·安布尔与法布里齐奥·塞拉菲尼。
这一期不是产品发布会,是两个人把「agent 用电脑」这件事从三个方向摊开:模型这半年补上了什么,围着模型的那层壳为什么比模型更重要,以及企业凭什么敢让它动自己的系统。两位主持人八月写过一篇同题研究,用的是他们自己访谈来的部署数字;这一期的很多判断,跟那篇研究能对上,也有对不上的地方——下面逐段整理时会把两边分开标。
题目的「比你快」指的是完成率;同一批作者的文章里写得很清楚,单件耗时它还比你慢,而且差得不小。这两句话都对,只是量的不是同一件事。整组图的第 3 张就把这两件事摆在一起。
二、按音频时间逐段整理
1. 00:00 片头:剪辑里的那句话
片头是拼过的片段,第一句就是判断:「我们已经把 computer use 推到一个比普通人更快的位置,离超人已经很近。」紧接着的第二个片段讲 Astra——「从 Astra 开始,它能做人能在电脑上做的任何事」。第三个片段讲企业侧:安全变得更有意思,因为要解决的是「环里留多少人」和「可审计性」;而 computer use 跟他们做过的任何东西都不一样,别的东西要开发者搭连接器、搭 MCP server 才能接入,它什么都能用。
2. 01:52 开场,与 Astra 补上的四个边角
阿里先把一个容易被误读的事说清楚:在 Astra 之前,他们的 computer use 模型就已经很强,「Sol 自己在这件事上就很好」。Astra 不是从零到一,它是在边上补了四刀——做同一件事时思考 token 更少所以平均更快;创作类工作更好(发布视频里那个一边说话一边在画图上画画的演示);在边角上更可靠,「99% 可靠和 97% 可靠之间,差别很小,但非常关键」;以及对齐更好。詹姆斯补的那条对齐数据是企业侧的钥匙:据系统卡,Astra 抗提示注入、不做非预期动作都明显更强,所以公司拿它做采购、跟供应商和客户谈,会愿意。他还顺手讲了个好玩的:内部让 Astra 跟 5.6 打电子游戏,每次都赢。
3. 04:12 消费与企业,两条推进线
詹姆斯把两条线分开:消费侧永远先推前沿——有了更快更好的模型,能解锁什么新体验;企业侧的能力其实更早就有了,现在是公司在补课。补的是什么?他在另一处说得很具体:大公司自己在搭一套「技能」(skills),教模型怎么更好地用自己那套软件。这是模型厂做不了的那一半,因为只有那家公司知道自己那套系统长什么样。
4. 06:16 用一天 Dots:漏掉的邀请,与一条报障
消费侧的形态已经出来了:每只 Dot 有自己的云电脑和完整浏览器,能替你买东西、约剪头发。詹姆斯给了两个具体用法。一是被动变主动:他们内部邮件系统里,外部邀请不会自动进日历,这个坑让他漏掉一堆会;现在 Dots 会来问「要不要我在 Gmail 里替你接受」。二是一条链:有人报问题通常带一条 Sentry 日志,Dots 可以同时驱动本地浏览器和云上那台电脑,登进 Sentry、拉日志、分析、把反馈给他——「哪条反馈重要」这一步也交出去了。他也承认自己以前用自动化每半小时捞一次 Slack,最后把通知全屏蔽了,因为有时有用、有时没用;现在的做法是给一个高层目标,判断交给它。
5. 08:28 速度、模型档位,与「人在环里」的旋钮
这一段是整期的转折。阿里先说速度的两面:computer use 的威力在于能后台跑,所以有些任务花多久都无所谓;但有些你必须等它、或者盯着它,等太久你只会想「这活我自己做还更快」。然后是他那句最容易被引用的话:已经比普通人快,离「比熟练的电脑使用者还快」很近——「大概就是这张桌子上我们中的任何一个」。他把那一刻叫真正的巨变:任何你能手动做的事,它都更快。
接下来是档位:多个质量、多个价位,贵的做难的、便宜的做常规的,而便宜那档在 computer use 上也越来越好。詹姆斯接手讲控制:模型慢的时候你能看着它做,但你不能一直坐着盯它;一旦快了,你就没法再观察和审计它的每个动作——所以「控制」这件事其实是速度的副产品。他们给的两样东西是:Guardian(应用里叫自动批准),一个更聪明的模型逐条看 computer use agent 的动作、判断安不安全符不符合原意;以及让企业自己挑哪些动作必须停一下。消费者的默认是「全做完,别问我」,企业的默认是「一个一个动作挑」。
6. 11:38 应用软件、广告,与 WebMCP
主持人问:应用软件那边怎么看「有 agent 在访问我的遗留工作流」?阿里的回答分两层。在公司批准、自己在用的软件里,这件事没争议——本来就想让人少点这些活。麻烦在开放网络:出版商、广告商的收入全在广告上,agent 替用户用了网站,那笔曝光不算钱,「这是我们会一直跟合作团队处理的问题」。
另一层是愿意拥抱 agent 的公司:它们在采用让人和 agent 一起用的标准,最典型的是 WebMCP,OpenAI 在应用内浏览器里加了支持。它的意思不是把网站换成 API,而是网站自己把能力以结构化工具的形式交出来,界面还是那个网站,人和 agent 在同一页上一起用。阿里的例子很具体:他还是喜欢自己逛酒店和航班,让 agent 把枯燥的活干完,到付款那一步再交回给它。
7. 14:05 哪些活可以交出去
阿里给了一个动作而不是一条标准:「每当我有件事,第一反应先问——能不能直接让 agent 去做。」例外是有的,而且他讲得挺诚实:给谁发消息这类事,他希望感觉是从他这里出去的。能力够,不代表该交。
模糊性有专门的解法:Astra 里发布的 flexible input,会在要求不清楚时先问你几个细节;你不答,它就继续往下做,需要时再把上下文拉进来。至于可重复的流程,他的说法是「把要求写清楚,大概跟写一份产品规格说明是同一件事」——写不清楚的地方,就是它最容易出错的地方。
8. 16:01 computer use 是那个通用接口
这一段是两位嘉宾对「computer use 到底是什么」的正面回答。阿里说通用性来自它的工作方式:它像人一样去用那个应用,所以它拥有你拥有的全部能力;跟别的东西不一样,它不需要开发者做接入。詹姆斯进一步:computer use 不是「你想做某件事」时拿起来的一个工具,它是模型为了把事做成而有的那个通用 API——任务越复杂,越会在某个点碰到它。唯一不交给它的情况,是简单到点两下更快;而它越来越快之后,这一条也在消失。
9. 18:01 企业的两层信任
主持人问得很直接:人至少有人负责、受过训练,模型怎么说服企业?詹姆斯的答案是两层。第一层是确定性:哪怕模型是有史以来最对齐的,管理员能直接说「这些数据源太敏感、不许用」,那种安全感别的东西给不了——所以是围绕 agent 建沙箱(能用哪些应用、能上哪些网站),加上人在环里的闸(下载上传要批、进新网站要批),都是可以调的旋钮。第二层是把内部跑的所有对齐评估摊给管理员看,跟自家模型比,也跟第三方比。阿里补的是产品设计那一侧:光标可见、有动画、换新应用先问你。主持人插了一句很准的话——那个光标会给你信心,这不是装饰。
10. 20:17 该自动化什么
詹姆斯把它分成两大类。第一类是枯燥流程:ERP、CRM、所有记录系统,「每一个系统都是一份记录」。他举了采购那条链——一千行的表格由各团队填,运营导进采购软件变成明细,采购拿着输出出去联系供应商,每一步都是人能点、机器也能点的。财务是另一个:公司内部很多本账,月底要大量对账,而很多财务软件根本没有 API;让 computer use 去翻、去对,把要看的挑出来给人。销售是潜客开拓写回 CRM,市场研究同理。
第二类是更野心的创造性工作:视觉设计已经好用,接下来是电路设计、建筑、硬件工程、游戏设计。他自己有个很实在的副业例子——写了个羽毛球视频标注软件,让 computer use 把匹克球、壁球、网球那几款同类软件都注册一遍、试用、截图、给反馈。阿里补消费侧:填车管所的表格、从收件箱退订一堆邮件、维护自己的财务表和做饭计划表,冷门如 Apple Numbers 也照样做得很好。还有第三类,阿里最兴奋的那类:换一种方式用整台电脑——直接对着它说话。
11. 25:50 遗留软件会怎么样
主持人给的二选一很锋利:是留着三十年前的笨重 ERP、上面加一层 agent,还是 AI 原生玩家从第一天就用 computer use?阿里的回答是两边都成立,而且会并行很久:造新软件的成本和复杂度低了,但世界上遗留软件太多,而 computer use 恰好擅长跟它们打交道——「今天在生产里跑的软件,很多是十年、二十、三十、四十年前写的」。他还补了一个方向性的判断:computer use 的存在会给软件公司压力,让它们把软件做得更适合 agent,WebMCP 是第一个例子。
12. 27:32 手艺,与只给一个人用的软件
这一段是整期最不像产品讨论的部分。詹姆斯说,如果互联网最后变成一张没有面孔的东西、只有 agent 跟 agent 说话、人什么都不用了,他会很难过——因为软件里有匠气,设计它的人真的懂你想要什么,用起来就是舒服。他举了自己给太太做的连五子战术训练器:按她习惯的方式学,把软件打磨成对她特别顺手的东西。阿里的呼应更抽象一点:人对「直接操作」是硬性写死的;而过去软件必须一款适配所有人,是因为它要为几百万、几十亿人设计——以后任何软件都能为一百个人、甚至为一个人做。
13. 30:33 两个桶:图个乐,还是留一份账
主持人给了自己的心智模型:消费侧你要么图乐、要么学到东西,你愿意花时间;B2B 侧你要的是审计日志——我设目标、我看懂逻辑,但我不必自己走完整条执行链。她举的例子是财务:这笔付款为什么发出去?三十天账期该打多少折?执行交给 agent,控制在某个层级留在人这边。詹姆斯接的话是这一段的标题:「为什么不行?我们凭什么要忍受烂软件?」他期待的新形态是:有传统界面,底下也跑着 agent。
14. 32:50 给创业者的两句话
主持人问:明天创业,想用 computer use 解决企业里某个流程,你会怎么想?阿里先讲形态:你是想让团队里的人更高效地用某个软件,还是在做一个本身要跟现有软件打交道的东西(那可能是在云上放一台机器,在后台用电脑)?形态不同,人机协作的形态也不同。自己搭的话,还得先想清楚:什么时候人在环里?出错它告不告诉你?做对了呢?会不会替你总结,免得你被通知淹没然后全部忽略。
詹姆斯的两句话更实用。一是还有没有护城河:「哪怕我们现在已经很大、几千人,内部依然觉得人手非常紧」——如果你深懂一个问题、懂监管、懂怎么卖、懂怎么服务,那还是绿地。二是很多垂直行业 AI 扩散得慢得多,他举了一家服务餐饮集团的公司:看后厨库存,按明天客流预测算缺什么,去采购软件下单,再回 ERP 调排班——那家公司不是科技公司,但它把四套互不相通的软件串起来了。他把这件事拆成四步:搞懂工具能做什么是第一,连起来是第二,部署第三,服务第四,前两件最难。
15. 37:52 下一步:更快、更实时、更一致
阿里说得很直接:速度,把 computer use 做成超人;以及把不同界面混起来,让多模态的输入输出更流动。今天的 computer use 很「后台」——给它活,你去干别的,这是它最大的优势;下一步是实时协作,你和它在同一块屏幕上一起做。
詹姆斯讲的是「一致性」这个不太性感但很要命的问题:Chrome 扩展一套密码,桌面里的应用内浏览器另一套,云上那台电脑第三套——「对普通消费者来说这太疯狂了,为什么我有四个浏览器、彼此都不说话?」他还给了一个自嘲式的观察:computer use 其实是最容易理解的 AI 产品(它就是 AI 在用电脑),但状态一多,实现细节渗到表面,它就不好懂了。
16. 41:10 势头,与那个 scaling 时刻
阿里回忆起点:开始做的时候用的人非常少,今年早些时候模型突然强了,产品接着涨得飞快,但还只有一部分用户在用。詹姆斯讲了自己那条线:一月加入时做的是 Atlas,用的人不多,因为大多数人把它当普通浏览器;后来浏览器能力被并进本来就有 agent 的产品里,才涨起来,涨到「像 YC 一样的周环比」。他把下一个拐点放在云上:桌面还是高级用户的东西,大多数人在手机上,给每个用手机过日子的人一台不用懂怎么用的电脑,才是十亿用户。
收尾是阿里那句:我们正处在 computer use 的 scaling 时刻,消费和企业同时都是。
三、口径与核对
核过的。 完成率与耗时这两个数字,出自两位主持人自己写的研究《Can Agents Use a Computer Yet? We've Got the Data》(2026 年 8 月 10 日):OSWorld-Verified 上一年的最好成绩从约 42% 涨到 85%,人类基线约 72%;同一批任务上,人两三分钟能做完的事,agent 要八到十分钟;全负载成本 agent 每小时 6 到 8 美元(区间 3 到 15),离岸 BPO 约 10 美元,美国后台岗位 30 到 45 美元1。这篇研究里还有三组生产数据:一家快消数据平台每月跑 1,500–2,000 万次门户交互、把维护爬虫的工程团队砍了一半;一家全球系统集成商有 27 条流程、每天处理 1,500–2,100 张 IT 工单,目标是把低毛利托管业务上的人力挪走 20–25%。WebMCP 是 Google 与微软提出的 Web 标准草案,让网站把能力以结构化工具的形式暴露给浏览器里的 agent,Chrome 已在早期预览里带上2。阿里的履历按他本人的公开简介:Workflow 联合创始人在 2017 年被 Apple 收购、2018 年变成「快捷指令」,之后创办 Sky(Software Applications),2025 年随团队加入 OpenAI3。(Sky 被 OpenAI 收购这件事本轮只核到媒体报道,未拿到 OpenAI 官方公告。)
他说的,本文不替他背书。 Dots 的具体用法(漏掉的邀请、Sentry 那条链)、Guardian 与自动审批的机制、Astra 的系统卡结论、「比普通人快、离超人很近」这个判断、餐饮集团那个例子、羽毛球那个副业、「像 YC 一样的周环比增长」、以及「只有一部分用户在用 computer use」——都是他们在节目里的说法,没有第三方数据可以核。
两处要分开看。 一是题目。节目里说的是「操作电脑比普通人快」,而同一批作者的文章写的是「agentic 模式下 agent 仍比人慢得多,而且差得不小」。这两句不矛盾,但也不该混着用:前者量的是完成率与相对普通用户的表现,后者量的是单件任务的耗时。二是「人」的定义。72% 这个人类基线是同一批任务的普通测试者,不是熟练的电脑使用者;阿里自己把「超人」定义成比熟练用户快,那是尚未跨过的线。
这一期没有官方章节,也没有官方视频。 时间点是按整集音频实测标注的;正文的分节与卡片上的时间一致,可以对着听。逐句译文底稿来自整集音频的自动转写,两位主持人的声音落在同一簇里,无法逐句分辨谁在说,译文统一标为「主持」;两位嘉宾也偶有被并进同一句的地方,凡无法确定的地方一律按上下文判人,不额外编造。
四、逐句全文翻译
下面按音频顺序逐句翻译,只保留中文译文,保留说话人标签(阿里、詹姆斯、主持、旁白),不压缩、不摘要、不删减。
00:00 片头剪辑
片头(剪辑片段):我们已经把 computer use 推到一个比普通人更快的位置。而且我觉得,离超人已经非常近了。
主持:你觉得哪些任务已经可以交给 agent,哪些还属于「它做完我还是得核一遍、改一遍」?
片头(剪辑片段):现在的 computer using agent,从 Astra 开始,已经能做人能在电脑上做的任何事。我们会想很多——有了更快更好的模型,能解锁什么新的消费级体验?而在企业侧,安全这件事自然就变得更有意思:我们怎么让人能控制「环里留多少人」,以及可审计性。它跟我们做过的任何东西都不一样,别的东西要开发者做工作才能接入——得有人去搭一个连接器、一个 MCP server;而 computer use 什么都能用。
片头(剪辑片段):我们现在有能力足够强的模型,而且便宜到可以在规模上跑。那公司该想着去自动化什么?我会把它分成两大类。第一类是……
旁白:AI agent 越来越能使用我们用的同一批软件——点按钮、逛网站、在没有专用 API 的情况下把活干完。当它们做得比我们更快,会改变什么?a16z 的西玛·安布尔与法布里齐奥·塞拉菲尼,对话 OpenAI 的阿里·温斯坦与詹姆斯·孙,聊 computer-using agent 的快速进展,以及为什么 computer use 可能成为 AI 的通用接口。他们讨论了 agent 如何自动化遗留企业软件、财务、采购与销售上的任务;也讨论了推动这一切的技术进展,包括为什么包在模型外面的那层壳,几乎能让它的速度翻倍。他们还谈到企业如何控制与审计 agent,以及接下来会发生什么——AI 在后台主动干活、与我们实时协作,最终操作软件比专家还快。
01:52 开场
主持:欢迎来到 a16z 播客,我是西玛·安布尔,和我一起的是我的同事法布里齐奥·塞拉菲尼。八月我们写过一篇关于 computer-using agent 的文章,讲它们开始在公司里干真正的活。今天我请来了 OpenAI 的阿里·温斯坦与詹姆斯·孙,他们会从自己的角度拆解 computer-using agent 到底在发生什么,也分享一些对未来的看法。阿里、詹姆斯,谢谢你们来。
阿里:当然,很高兴来。
詹姆斯:谢谢你们邀请。
02:19 Astra 带来的变化
主持:阿里,你先开个头,说说 Astra 里到底是什么推动了 computer-using agent 往前走,真正解锁了什么。
阿里:Astra 是个很厉害的模型,很多事情上都好。其实在 Astra 之前,我们的 computer use 模型就已经很好了——Sol 自己在 computer use 上就很强。所以按我的体感,Astra 主要是在几个边角上帮忙。
一是它在平均意义上快一点,因为做同一件事用的思考 token 更少。二是在某些创作类工作上更好。比如我们发布视频里那个演示:你一边跟它说话,它一边在微软画图(Paint)上画画。这类事它强得多,我觉得这大概也能迁移到其他创作类任务上。最后一点是,它在边角上更可靠,我感觉我更信它一点。就是那种差别很小、但非常关键的东西——99% 可靠和 97% 可靠之间。我感觉它确实高那么一点,而且这点很实在。
詹姆斯:我接着补几句。Astra 也是我们对齐做得最好的模型。说到信任:如果你去看它的系统卡,它在抗提示注入上强得多,在不去做任何非预期动作上也强得多。所以当你把它用在企业工作上,尤其是公司拿它做敏感的事——不管是采购、跟供应商谈、还是跟客户谈——你会觉得安全很多。这非常让人兴奋。
创作用途上也有好玩的东西。我们内部让 Astra 去打电子游戏,对上 5.6,它每次都赢。所以网上有些挺酷的推文,说 Astra 能在 30 小时内打通《辐射》。它打游戏真的很厉害。我不知道这能不能迁移到什么,但确实厉害。
04:12 消费与企业
主持:我想把这一点再往下钻一层:computer agent 在消费级与企业级用例上的含义非常不一样,尤其围绕它外面那一整套脚手架。
阿里:我会说,对 computer-using agent……你们怎么看消费和企业哪边更让人兴奋,如果一定要选?
詹姆斯:OpenAI 的目标一直是做对所有人都有的用的产品。有意思的是,阿里在这里肯定是更偏消费的那个人,我在企业侧花的时间多一些。消费永远是我们尽可能推前沿的地方。有了 Astra,就像阿里说的,它比之前的模型快得多。所以我们会想很多:有了更快更好的模型,能解锁什么新的消费级体验。
企业侧,安全自然就变得更有意思。因为我们跟大公司聊的时候,会看到公司自己在搭「技能」(skills),教模型怎么更好地用他们的软件。所以也许可以这么理解:企业侧的能力其实存在得更早一些,现在是公司在追上来、在搞明白怎么应对;消费侧则是我们在找下一类用例——那些今天用软件还做不到的事。阿里你可以多说说。
阿里:对我来说,消费级用例特别好玩,因为它就是:你怎么让你的 agent 去做你日常生活里那些特别烦、又特别花时间的事,好让你把时间放回你真正兴奋的事情上。
看着 Dots 真的很有意思:每一只 Dot 都有自己的电脑,你可以让它去云上替你做事情。它有一个完整的浏览器,能替你买东西,能替你预约剪头发,你要它做什么都行。这很好玩,而且地平线上还有更多好玩的。
06:16 用 Dots 的一个具体例子
主持:这正好是我想问 Dots 的。詹姆斯,你大概会用一只 Dot 来走产品反馈的流程,能不能多讲讲。我很好奇,你们自己是怎么用 Dots 的,computer use 又怎么参与进去?
詹姆斯:Dots 很酷有好几个原因。一个是它真的很主动。很多次我都很惊讶——不管是在生活里还是工作里,Dots 会把我完全漏掉的事情挑出来。
就在前几天:我们内部邮件系统里,只要收到外部的邀请邮件,它其实不会出现在日历上。结果我漏掉了一堆会。现在 Dots 会替我抓这些:「有一封邀请在你收件箱里,但它不在你日历上,要不要我在 Gmail 里替你接受,好让它显示出来?」这件事救了我。很小,但很要紧。
我也让它主动去找那些「形状不那么固定」的任务。另一个例子:我们内部用 Slack,随时都有大量消息。我以前用自动化和 Codex 做了一份工作,每半小时或每一小时去捞一次,结果我最后把大部分通知都屏蔽掉了——因为它有时有用,有时没用。
用 Dots,我可以给一个很高的目标:如果我汇报链上任何人说了什么,就标记给我;如果有人给了关键反馈,关于某些产品的,你自己判断,去做。因为它有一台云上的电脑,我有个挺酷的流程:有人报问题的时候,通常会带一条 Sentry 日志。我可以让它用云上那台电脑,同时驱动我本地的浏览器——Dots 能同时控制你本地的电脑和云上的电脑——登进 Sentry,把日志拉下来,分析,然后把反馈给我。于是「判断哪条反馈重要、去看它、去 Sentry、下日志、喂给 Codex、问它怎么看」这一整圈,现在都能自动化。
所以 Dots 至少在这两类任务上很好:主动的,和长时间跑的,而且它们的形状每次都不一样。
08:28 速度、档位,与「人在环里」的旋钮
主持:我们前面聊到可靠性、速度、token 用量和效率。你们在持续改进自己发布的东西的时候,怎么平衡这些?
阿里:我们对 OpenAI 的 computer use 非常兴奋,投入很多,已经走到一个位置:我认为我们现在有最快、最便宜、也最可靠的 computer use 产品。而且我觉得还能再往前推很多。
我们在速度上花了很多时间。速度很有意思:一方面,computer use 的威力就在于它能在后台干——所以有些情况下它花多久都无所谓,因为你可以去做别的事,它替你把任务完成。但另一方面,有些时候你就是想盯着它、确认它做对了;或者你需要等它,因为它得先完成,别的事情才能发生。所以速度很重要:你不想有那种感觉——「我自己做就好了,还轻松得多」。
我们已经把 computer use 推到一个位置:它操作电脑比普通人快。而且我觉得离超人非常近了——所谓超人,就是比一个熟练的电脑使用者还快,大概就是这张桌子上我们中的任何一个。我认为那会是一次真正的巨变。
它会改变我们所有人跟电脑打交道的方式,因为突然之间,任何你能手动做的事,它都能做得更快。所以除非你出于某些原因真的很想自己动手——我觉得人们想自己动手的理由可能有很多——但在默认情况下,你大概只想让 agent 替你做。而这会让我们造出各种很酷的用户体验。所以速度是我们想得很多的事情。
另外我们很明确地有一个策略:在多个质量和价位上提供多个不同的模型。所以不同的用例,你可能会想用不同的模型。同时,我们更便宜的模型在 computer use 上随着时间越来越好。所以我觉得,往后「哪个任务该用哪个模型」会有更多变化。
詹姆斯:这就是我刚才说的。另一层想法是:我们怎么把「安全、可靠、自主」相对「速度」的控制权交给客户?模型慢的时候,你可以看着它做,但你也被限制住了——你不能就一直坐在这儿盯着它干,那样其实效率更低,因为它比你还慢。可一旦快了,你就没法再观察和审计它做的每一件事。那么,尤其是对企业,我们怎么让他们能够控制「环里留多少人」,以及可审计性?
几个月前,跟着 Astra,我们发布了一组企业控制项,让企业能选:环里留多少人?他们要不要 agent 自动批准所有动作?我们有一个很好用的系统叫 Guardian,在应用里我印象里叫自动批准(Auto-Approve)——它本身是一个很聪明的模型,会看 computer use agent 正在做的每一个动作,判断它安不安全、是否符合原来的意图。
消费者可能会说:我就要它全做完,别问我批不批准。而企业则可以决定哪些类型的动作可以放行。所以当我们这些 computer agent 在做事上也开始超人化,控制这一部分会越来越重要。
11:38 应用软件怎么看这件事
主持:随着企业用例铺开,雇主对效率很兴奋,但同时也会警惕:到底放出去了什么东西?反过来,应用软件那边对「现在有 computer-using agent 在访问我的遗留工作流软件」是什么反应,你们有观察吗?还是说你们就专注在使用它的那个消费者或企业用户身上?
阿里:我觉得这个问题在开放网络上才真正有意思。当它发生在公司批准、公司自己在用的软件里,其实更直接——那当然,百分之百,我们希望人们把那些不必自己动手的活自动化掉。但到了互联网上,会有几种不同阵营。
一种是,他们的商业模式跟「有 agent 使用产品」并不一致。你想广告商、出版商,他们的商业模式完全建立在广告上。如果 agent 替用户去用了网站,收入从哪来?而且在大多数地方,agent 产生的曝光其实并不计入真实收入。所以这是个我们会一直琢磨、也一直跟合作团队一起处理的问题。
对公司来说还有另一个问题……
13:04 愿意拥抱 agent 的公司与 WebMCP
阿里:对那些确实想拥抱 computer-use agent 使用自己网站的公司,很多正在采用一些标准,让人和 agent 能一起用。比如 WebMCP 就是一个我们很兴奋的标准,我们在应用内浏览器里加了支持。
所以你可以想象这样的场景:agent 提升了使用这个网站的体验,但它并没有完全取代这个网站。我个人觉得浏览网页还是很好玩的,我还是喜欢自己买东西,还是喜欢看各种酒店、航班、地方。所以你可以想象:agent 把所有枯燥的活干完,但给你留出一段更轻松的体验——你自己浏览,然后说「好,现在我要把这笔交易完成,刷我的卡」,这些事也可以再交回给 agent。
WebMCP 有意思的地方是:你跟网站之间的界面还是网站本身,而不是一个 API,但人和 agent 在某种意义上是同时在用。
14:05 哪些活可以交出去
主持:换个话题,我想把「把活干完、把端到端的活干完」这件事再钻一下。想听你们讲讲:什么样算好的、窄而可重复的任务?哪些任务你们觉得已经可以交给 agent,哪些还属于「做完我还是得核一遍、改一遍」?
阿里:一般来讲,我发现这个模型现在基本上能在电脑上做任何你能做的事。我逼自己做的一个练习是:每当我有件事,第一反应先问——能不能直接让 agent 去做?
当然有一些敏感的地方,比如我要给某人发消息,我希望那感觉是从我这里发出去的。但总体上说,我是这么想的:从 Astra 起,computer-using agent 已经能做人能做的任何事。以前会有一些含糊的地方——具体要求写得够不够清楚。我发现模型在这个点上越来越好:当你让它做一件事、而里面有些模糊的时候,Astra 里我们发布了一个叫 flexible input 的东西,它会来问你:我想要一些细节。如果你没及时回答,它就继续往下做,需要的时候再把上下文拉进来。
有些东西是——如果你有可重复的流程,能把要求定义清楚是好的,那基本上就跟写一份产品规格说明差不多。但总体上,除非某件事极度敏感、你一定想在环里,我现在做任何事都会先去够 computer use 模型。我很好奇你是不是也这样。
詹姆斯:是的。我也在努力建立这个反射,因为它真的很好。有时候很容易就陷在旧习惯里。
16:01 computer use 是那个通用接口
阿里:我觉得 computer use 作为一项技术,最酷的地方是它的通用性。它能用每一个应用。它跟我们做过的东西都不一样——别的东西要开发者做工作才能接入,得有人去搭连接器、搭 MCP server;computer use 什么都能用。
而且它的工作方式是:像人一样去用那个应用。如果你没怎么接触过这项技术,这一点值得理解——computer use 用人用电脑的方式去用电脑。它让 agent 拥有你拥有的全部能力,我觉得这非常有力量。
詹姆斯:我接阿里的话补一点。某种程度上,这些时间下来我已经不太想「这是 computer use 任务还是非 computer use 任务」了,因为它们经常是连在一起的。
我们看 computer use 的方式是:它不是「你拿起来说我要做某件事」的东西,它其实是模型为了把事做成而拥有的那个通用 API。所以如果你有一个雄心很大的任务、你想让 agent 去做,任务越复杂,过程中越可能在某个点上碰到 computer use。
所以唯一我不会去够 computer use 的情况,是任务简单到我自己点两下按钮更快。但随着 computer use 越来越快,这个问题也会变:也许我就不点了,我直接说话,它跟我一起用电脑。这些想法都挺有意思。
18:01 企业的两层信任
主持:你们觉得有什么需要跟企业用户讲清楚,才能让他们对这件事放心?你们显然是彻底被 computer use 说服了。但企业用户常常会有犹豫:是,人会点得过去,而且可能做得更差;但至少有人负责,那个人是受过训练的——这些经典的反驳。
詹姆斯:当然。过去一段时间,我们跟企业聊了很多。我觉得主要是两层。
第一层是:我们怎么做出确定性的控制。这确实能给企业很大的安全感——哪怕我们的模型是有史以来最对齐的,我也认为它在防提示注入、防非预期动作上比大多数人强,因为它的智能本身就很高;但企业管理员能够直接说「某些任务、某些数据源,太敏感,不许用」,那种感觉就是安全。
所以我们发布了两样东西。一是能围绕你的 agent 确定性地建一个沙箱:它能用哪些应用、不能用哪些应用、能上哪些网站、不能上哪些网站。二是所谓「人在环里」的那部分:哪些类型的动作需要人介入?比如我们可以说,任何一次下载和上传,都要有人批准;任何一次访问新网站,都要有人批准。这些对企业来说都是可以调的旋钮。
第二样,就是把我们内部跑的所有评估摊给企业管理员看:这些模型在对齐上到底怎么样,跟内部模型比、跟第三方模型比。此外还有一些我们普遍在做的基础工作,帮人们跟这类产品建立信任——我们知道它太新了,对人来说是一种既神奇、有时又陌生的体验。
阿里:我们在产品设计上花了很多功夫。比如你随时可以看到光标——如果你想看着它做任务,它是有动画的,看起来不无聊。另外,就像詹姆斯说的,这对企业可定制,对普通用户也是:在用一个新的应用或网站之前,我们会先问你,取决于你处在哪种模式。我觉得这能帮人不觉得「它要在我的电脑上乱跑」。你需要一段建立信任的过程:先感受它是什么、你想让它替你做什么,然后慢慢就自在了。
20:17 该自动化什么:从最枯燥的那类开始
主持:Codex 那个光标太可爱了,我很喜欢。我知道这是很小的细节,但看着它用电脑,会给你信心,也让体验变好。所以用户体验这一点,是值得投的。
我想问一个更大的问题:现在我们有了能力足够强的模型,也便宜到可以在规模上跑。在你看来,公司该想着去自动化什么?企业在哪些用例上最有前景?是 ERP 这类,还是人与 agent 一起把任务做完的那种?如果一定要挑,你最想在真实世界里看到你们的模型在哪里发挥作用?
詹姆斯:从我的角度,我想听阿里先说。我会把它分成两大类。第一类是自动化那些枯燥的流程,是比较无聊的那一类,我举几个无聊的例子。
主持:无聊就是机会。
詹姆斯:确实。ERP 就是很大的一块,你想得到的那些缩写:ERP、CRM,各种「记录系统」(systems of record),每一个系统都是一份记录。
我们见过一些公司做采购软件。比如你每年要向供应商订一批实验室设备,而不是维护一张有一千行的巨大表格;运营团队……像那种工作流很重的公司——
詹姆斯:他们过去通常是这样:有一张巨大的表格,由各个团队自己填;然后运营团队把这张表拿过来,导进内部的采购软件里,最后变成一堆明细行;再然后销售团队、采购团队拿着这一堆软件输出,出去联系供应商。这些电脑都能自动化。所以采购是我们看到很大的一块。财务是另一个很有意思的类别。
公司内部有很多本账,比如费用一本账、其他东西各一本账。到月底要做大量对账。而很多财务软件根本没有 API 可以快速把数据拉出来。所以财务团队能用 computer use 去翻这些账、做对账、把值得注意的东西挑出来——要么标记给人,要么自己往下查。这也是一个很无聊但很有用的流程。
对我们的销售团队来说:很多销售团队用很多不同的软件,做通话转写、取数据之类的。所以让 computer use 去做潜客开拓(prospecting),再把结果写进 CRM 或某种外呼软件里。所以「记录系统」是无聊的那部分。
市场研究是另一个我们常见到的。我业余时间在写一个给羽毛球用的视频标注软件,我拍自己打球,然后让 agent 去看。我在想怎么让这个东西真的有用——市面上有给匹克球、壁球、网球做的软件。于是我就让 computer use 去登录、在这些软件上注册账号、试用、截图、给我反馈,然后我把它做回自己的应用里。这些都是那种枯燥、可以交出去的流程。
而更有意思的那部分创造性工作,是让它能承接更大的事。我们聊过模型现在在视觉设计上已经很好了。还有电路设计、建筑设计、硬件工程、游戏设计——这些也是我觉得 Astra 能带我们去的领域。对企业来说现在想这些的还不多,因为它们在想着那些无聊的机会;但随着大家更理解模型的能力,我觉得下一波用量会到那边去。阿里你怎么看?
阿里:消费侧也有类似的情况。有很多是在自动化那些苦差事,或者做你不想做的事。比如替你填车管所的表格,帮你从收件箱里退订一堆邮件。
然后还有一类,是我听很多人讲的故事:他们在做那些自己本来没时间做、或者根本不会想到去做的事。就我个人来说,我在维护自己做财务的表格、还有做饭计划的表格。我有个朋友是私人教练,他在给客户做定制的东西。这些事在你的个人生活里本来太费时间,但现在变得很容易。我用 Apple Numbers——一个挺冷门的表格软件——模型照样做得非常好。
主持:我好像从来没听人说自己用 Apple Numbers。
阿里:它其实是个好得出人意料的表格软件。
阿里:然后我觉得还有第三类,也是我最兴奋的,才刚刚开始。就是:用一整套不同的方式去使用你的整台电脑,或者跟软件打交道。你在我们 Astra 的广告里看到过很酷的例子:人直接对着电脑说话。这是一种非常自然的使用电脑的方式。我觉得随着时间推移,软件本身的形态会因为这项技术而改变。这一点我很期待。
25:50 遗留软件会怎么样
主持:说到软件形态的改变。设想你是一个企业用户,你习惯用某个三十年前的笨重 ERP。一种世界是:你现在放出一批 agent 去操作那个软件,你根本不用在意它。另一种世界是:一家 AI 原生的新玩家,直接用 computer-using agent。我想问,世界会更往「留着遗留系统、上面加一层」走,还是 computer-using agent 也能成为新软件玩家的一部分?我自己想得很多,很好奇你们的看法。
阿里:这是一个非常有趣的时刻:一方面,创造新软件的成本和复杂度低得多;另一方面,世界上存在的遗留软件又多到 computer use 恰好非常擅长跟它们打交道。所以我预期这两件事都会持续很久。你看今天在生产里跑的软件,很多是十年、二十年、三十年、四十年前写的,我不觉得那东西会一夜之间消失。
我确实觉得,computer use 的存在,会让公司更有压力去让软件更好地跟 agent 配合——因为所有软件默认都会跟 agent 一起工作,我觉得 WebMCP 就是一个很好的例子,而且我们会看到更多类似的。所以我预期两边都会非常重要,但它会随着时间偏移。詹姆斯你怎么看?
詹姆斯:我同意。
27:32 手艺,与只给一百个人用的软件
詹姆斯:这里有很多手艺活,你懂这个,因为阿里和他的团队做出了一个很漂亮的产品,那个光标是全力做的。所以做出一个让人愿意拿在手里用的好产品,里面有大量的艺术与手艺。
对我来说,如果互联网变成一张没有面孔的东西,只是 agent 跟 agent 说话、人什么都不用了,我会很难过。我不觉得会变成那样,因为有一种匠气、有一种「手工软件」的感觉,你用起来就是舒服——因为设计它的人真的、真的懂客户想要的体验。
举个例:我太太最近迷上一个桌游,我忘了名字,就是连五个石子赢的那个,名字我忘了,是连成五个就赢的那种,大概就是五子棋。她在网上跟朋友下,被打得很惨,所以她想练好。我就说,那我给你做一个战术训练器吧,把各种开局套路都过一遍,你就能变强。我做了第一版,然后想:她喜欢用某种方式学,她喜欢这类学习方式多过别的,所以我能把软件打磨成对她来说特别顺手的东西。
这种个人化的软件,我知道今天还像只有技术人会做,但你往后想几年:如果任何人都能做出任何东西,而且能在很短时间内为非常细分的用途做出这种手艺很好的软件,那种世界很美好。
而且,她训练结束之后,那些课程和她犯的错,可以交给一个 agent 去总结、用文字给她;但当她真的在跟 AI 下、想变强的时候,那件事得人自己去做。所以我确实看好——我不觉得 UI 会消失。
这有点偏离你原来的问题,但我确实觉得,便宜软件带来的压力,会让软件必须变得更好。但我不觉得会变成「所有东西都有 MCP、都有 API,computer use 从此没用」。
阿里:我太喜欢这个点了。我觉得人对「直接操作」是硬性写死的——你真的想用自己的手去动、去做。
而且想想过去软件都是「一款适配所有人」,这很让人兴奋。
阿里:它必须是那样,因为我们每天打交道的软件,是为几百万、几千万、几亿、几十亿人设计的。我觉得我们会进入一个时代:任何一款软件都可以为一百个人、甚至为一个人设计。那种软件会有多 personal、多独特。
30:33 两个桶:图个乐,还是留一份账
主持:我的心智模型大概是两个桶。消费侧,你要么是从中得到快乐、喜欢用,要么是能学到东西——不是它的「用处」,而是跟它互动、学习本身带来的愉悦,你愿意花时间在上面。
B2B 侧,你可能想让 agent 把一堆枯燥的活干完,但这里有个东西叫审计日志(audit log)。它也可以按你想要的方式去个人化,但产品真正的内容是:我作为人设定目标,然后我能看懂它的逻辑,但不一定要自己把整条执行链走一遍。
阿里:所以任何 B2B 用户还是得搞清楚:这笔付款为什么发出去了?他要能回去、拿到一份「发生了什么」的总结,然后能说——
主持:对,在这个时间付给这个人;三十天账期,应该打这么多折,等等。他们想让 agent 去执行,但在某个层面上,仍然要有一定程度的控制留在那儿。我觉得这确实需要一个某种形式的 UI。而且如果我们要更相信「AI 会做更多这类事」,那部分也必须做得好用。
詹姆斯:为什么不行?我们凭什么要忍受烂软件?我确实觉得,看看会不会出现一种新的软件会很有意思——它有传统的用户界面,但底下也在用 agent。然后有时候那些 agent 自己又在用 computer use 去自动化遗留软件,给你一个好得多、更有针对性的体验。我非常期待这一类东西。
阿里:有点像我们喜欢内化的那层「共享智能层」。你的 agent 在别处用着遗留软件、在别的地方做事;而你在用一个应用时,这个应用想拿到那份上下文,好给出更好的体验。如果每个网站都有自己的 agent、而它不跟你的 agent 说话,那就是一个非常碎片化的世界。所以怎么让它们配合起来、让 agent 能插进来用你其他的软件,我觉得接下来几个月会很有意思。
32:50 给创业者的建议
主持:我很喜欢你们聊这个,因为「人机交互」的重要性被严重低估了,尤其如果你想让产品成功。人习惯了协作,所以你会希望任何 agent 都能嵌进团队里。我想问:如果你明天要创一家公司,想用 computer use 去解决企业里的某个流程,你会怎么想?你会关心什么——它失败时能不能好好失败、能不能跟人沟通,还是就做一个黑盒子?如果你现在要跟创始人讲话,会给他们什么建议,让他们用好你们的能力去解决企业的问题?
阿里:在我看来,这很大程度上取决于形态。你是小团队、想让团队里的人更高效地用某个软件?还是你在做一个本身就要跟现有软件打交道的东西——那可能就是在云上有台机器,在后台做 computer use。
这会极大影响你想要的人机协作形态。前一种情况,我们的很多产品就在服务它:你坐下来用 ChatGPT,那里有很多好的协作。后一种情况,如果你是用 API 自己搭 computer use,那就真的要想清楚:什么时候你想让人在环里?出错的时候 agent 告不告诉你?做对了告不告诉你?是不是有个东西替你总结,免得你被「这个发生了、那个发生了」的通知淹没——而那些通知你其实会直接忽略?
詹姆斯:嗯,阿里和我加入 OpenAI 之前都是创业公司的创始人,所以我现在依然很看好创业公司。这个问题归结起来大概是:还有没有护城河?有没有什么是实验室在做的事之外、创业公司还能去啃的?
总体来说我觉得有两点。一是要建的东西太多了。哪怕我们现在已经很大、几千人,内部依然觉得人手非常紧——面对所有这些问题,团队都不大。所以如果你真的深刻理解一个问题,有行业专长,懂监管怎么运作、懂 go-to-market、懂怎么服务那批客户,那依然是一片非常绿的绿地。
二是,通过我们的 API——就像阿里说的 computer use——你依然能加速。说到底,今天存在的模式就是速度和痛点。
我另一个常想的是:在我看来,还有很多垂直行业,AI 的扩散慢得多。前几天我跟一家公司聊,他们用 computer use 帮餐饮集团:先看后厨库存,用视觉判断明天的客流预测下会缺什么;然后拿这个去用 computer use 在类似 Shopee 或某种采购软件里下单,订第二天的货;再根据这个进到 ERP 里,调整员工排班——因为去年这个时候,节假日客流大得多,可能需要更多人。
那些餐饮集团大概不是那种非常熟悉现有工具的科技公司。所以,住在旧金山,我们会看到很多「实验室什么都能做、Codex 什么都能做,为什么不让所有人装上 Codex 让它去做」的想法。但对普通美国人、对普通的中小企业主、对普通企业来说:先搞懂这些工具能做什么是一件事,把工具按合理的方式连起来是第二件,部署是第三件,服务是第四件。所以在我看来,如果存在需要很多互不相通软件的复杂流程,computer use 是把它们拼起来、把整个端到端流程做完的好办法;然后再把它做成一种那些客户拿在手里觉得舒服的形态和 UI——这依然是一个非常大、而且依然敞开的机会。
37:52 下一步:更快、更实时、更一致
主持:讲讲接下来。在 computer-using agent 这条前沿上,有什么你们能分享的、让你们很兴奋的东西?
阿里:我前面其实已经比划过了,但我们真的很兴奋于速度,很兴奋于把 computer use 做成超人。也很兴奋于把不同种类的界面混在一起,把多模态的输入输出合到一起,让你用电脑的体验更流动。
我觉得现在我们很多 computer use 产品是非常「后台式」的:我给 agent 一个任务,我同时去干别的。这其实是产品极大的优势。但我认为未来我们也会看到更多你与 agent 之间的实时协作。这个方向我很兴奋。
阿里:而且除此之外,就是更好、更便宜、更可用、更易用。
詹姆斯:对,就是这样。真的能访问到所有东西。
詹姆斯:我觉得还有一个:Dots 里我们给大家的是一台云上的电脑,ChatGPT Work 也有云上的浏览器。老实说,让我兴奋的一件事是把这个体验做得更一致一点。今天你可以装 Chrome 扩展,那用的是你 Chrome 里的密码管理器等等;然后我们在桌面应用里有一个应用内浏览器,它有一组不同的 cookie 和不同的密码;你云上那台电脑又是另一套东西。对普通消费者来说这太疯狂了:为什么我有四个浏览器、彼此都不说话?我在一个里开一个页面,另一个里会出现吗?
所以我很期待的一大块是:怎么让 computer use 从一个被企业、被非常硬核的先锋用户使用的产品,变成一个人真的能理解的东西。
这听起来有点矛盾,因为我觉得 computer use 其实是最容易理解的 AI 产品——它就是 AI 在用电脑。但因为你要管理的状态、你要使用它的地方太复杂,实现细节有时会渗到表面,然后就变得不太好懂。所以把它做到消费级、更容易懂、更一致,是我下个季度很期待的事。
主持:我觉得这回到了那个点:仍然是人来启动 agent。
阿里:对,而且人得……UI 和控制做得越好、越好用、越让人愉快,他们从中得到的就越多。这是绝对的原则。
还有一件事我想比划一下:今天这个产品还有一个挑战,你得花心思去想怎么用它,你得记得去用它,你得说服自己去做跟过去不一样的事。
而 Dots——就像詹姆斯前面说的——带来一种很强的生产力:它们可以主动来找你、识别出情境、帮你解决问题。我觉得我们还会看到更多生产力。我很期待一个世界:agent 来适应你,而不是你去适应它。我觉得我们会看到很多这样的情况。它会让人们更容易跟这项技术建立关系、理解它、把它纳入自己的生活,同时仍然是那个设定和掌握目标的人——如果这话说得通的话。
41:10 势头,与「scaling moment」
主持:还有一件我们没聊到的,是 computer use 背后的势头,以及变化有多大。法布里齐奥和我在文章里聊过一点。想请你们讲讲它到现在的轨迹,以及接下来往哪走。
阿里:詹姆斯和我做 computer use 已经有一段时间了。过去这六到九个月非常让人兴奋:我们开始做这些 computer use 产品的时候,用的人非常少。今年早些时候,因为研究团队做的工作非常出色,在我感觉里模型突然就在这类任务上变得很强。然后我们一直在跟内部很多团队一起拼命,想做出真正好的产品体验。而就在过去几个月,产品突然涨得飞快,人们真的看到了它的价值。
但我觉得还是太早了。现在仍然只有一部分用户在用它,我觉得还会涨很多。
詹姆斯:完全同意。我是今年一月加入 OpenAI 的,做的是 Atlas 这个产品,我很喜欢 Atlas——RIP Atlas。我们当时意识到一件事:在 Atlas 里,agent 体验因为几个原因其实不是卖点。用的人不多,一部分原因是大多数人把它当普通浏览器用。
而在过去几个月里,因为模型能力变强了,我们把浏览器和 browser use 并进了现有的、本来就有 agentic 用法的产品里。结果我们看到的是——像 YC 那样的周环比增长。我总是被它能跑多快惊到。
我觉得下一个大的拐点是云。桌面现在还是很「高级用户」的东西——我们大概一直在用桌面,但大多数消费者在手机上。所以怎么给每一个 ChatGPT 用户、给每一个只是拿手机过日子的人一台强大的电脑,而他根本不需要懂怎么用它,它就替他把事情办成?我很期待这件事把它带到十亿用户那里。
主持:感觉 computer-using agent 背后有巨大的势头,而现在到了这样一个时刻:好,我们怎么把它交到更多人手里,让他们信任它、觉得真的能用它。就像你前面说的「一致的体验」——那一块一旦大幅变好,消费者用起来会更舒服,也会更自然。
阿里:我觉得是这样。我认为我们正处在 computer use 的 scaling 时刻,消费和企业同时都是。我很期待看它走到哪、看人们用它造出什么。
主持:太好了,我们也是。好,非常谢谢你们来,这期很精彩,我们很爱聊这个话题,直接从你们这里听到这些很有意思。
詹姆斯:我们也很好玩。
詹姆斯:谢谢。
主持:谢谢你们。
旁白:感谢收听本期 a16z 播客。如果你喜欢这一期,请点赞、评论、订阅、留一个评分或评论,并分享给你的朋友和家人。更多单集,请到 YouTube、Apple Podcasts 和 Spotify。在 X 上关注我们,也订阅我们的 Substack:a16z.substack.com。再次感谢收听,我们下一期见。
旁白:提醒一下,这里的内容仅供信息参考,不应被视为法律、商业、税务或投资建议,也不应用于评估任何投资或证券,且不面向任何投资者或潜在投资者。请注意,a16z 及其关联方可能持有本播客中讨论的公司的投资。更多细节,包括我们投资清单的链接,请见 a16z.com/disclosures。
References
- 1
- 2Chrome for Developers · WebMCP
developer.chrome.com
- 3Wikipedia · 快捷指令(原 Workflow)
en.wikipedia.org


Comments