一只替你点鼠标的手，装好了

DevDay 当天录的一期：前半程是电脑智能体这半年到底变了什么，后半程是 OpenAI 一周里做出来的那个决定层。12

按官方 15 段时间点整理，时间码是官方口径（全长 39:02）。本期出场四人：主持 swyx（肖恩·王）与维布·诺比（Vibhu Norby，Solana Foundation 首席产品官），嘉宾是 OpenAI 的阿里·温斯坦（Ari Weinstein，负责 Computer Use 的产品与工程）与尼昆杰·汉达（Nikunj Handa，负责 API 团队的产品）。12

阿里刚下主题演讲。今天和 Computer Use 有关的四件事：Dots——带自己云电脑的个人助手；GPT-6.1 Sol——他说它在 Computer Use 上比 Astra 便宜到五分之一、专注这块时是七分之一；Agents API 现在内置了 Computer Use，开发者可以直接建在 Codex 与 ChatGPT 用的同一套之上；以及 Decisions API。他顺带说清了两者的分工：Decisions API 并行推理、不做推理链、模型更小，所以很快，也因此不那么擅长长周期任务——怎么把两条路线合起来，仍是开放的研究问题。234

Dots 的关键差异是每只 Dot 都有云端一台上属于它的 Linux 虚拟电脑：可以跑完整桌面应用，也能开浏览器。过去的产品要么给一个云浏览器，要么让它碰你自己的电脑。阿里把它讲成 Computer Use 为什么重要的一句话——世界上所有软件都是为人设计的，现在智能体可以用同一批软件，于是「任何你会在电脑上做的事，都可以派给它」。他自己的例子是订一家的备餐服务：手工下单要两小时，Computer Use 十五分钟做完，快八倍。swyx 的用例是 YouTube 那些没有 API 的功能，只能丢进虚拟机里跑。

swyx 引出朋友的那句公开判断——Computer Use 两年没有进展。阿里的回答是：那是几个月前说的，希望对方现在看法不一样了，因为这几个月它变的是整整 180 度。他举的最大变化是它会自己调试了：以前它能可靠地开始任务然后卡住，现在擅长重试、也擅长内省什么在起作用。另外，它现在常常直接写 JavaScript 交给电脑执行，一次完成多步。5

阿里的主线是自动化：Workflow（2017 年被苹果收购、成了 Shortcuts），在苹果管 Shortcuts，再创办 Sky，2025 年 10 月团队加入 OpenAI。回头看 Sky 时期，他们做的也是 Computer Use，但模型能力差太远。他强调今天的差别不只是模型：Computer Use 这个领域本身也在往前——更多模态、更会用无障碍信息。

衡量方式有很多种（外壳的不同排列与配置），但增益是一致的，有时来自壳、有时来自模型。他特别提到 GPT-6.1 在 Computer Use 上比它相对 Astra 的基准成本改善还要更划算。最大的「啊哈」时刻是引入更多模态：过去的产品要把大量时间花在滚动页面上，现在它能看到整页、整个应用。App Shots 就是这条线的产品化——双击 command 把正在用的应用内容带进 Codex 或 ChatGPT，交出去的不是一张图，而是完整上下文；截图会丢东西（链接指向哪里、被截断的日程标题）。他还点出一个巧合：为屏幕阅读器发明的无障碍技术，对大模型用电脑同样有用。

团队过去几个月做到的，是让 Computer Use 在多数任务上比普通人更快；下一个前沿是「字面意义上的超人类」——用软件的速度追上熟练用户。他列了挡路的几处：模型侧、推理侧、壳侧、表示侧，以及纯粹的操作速度。一个具体例子：基准里相当一部分时间是在等 doordash.com 自己加载完；从加载完到触发下一步的延迟要尽可能小，而这里仍有大量复杂性——网页导航有 load 事件，别的类型的事件没法事件驱动。

把 Computer Use 放进 Agents API 之后，开发者可以用同一套实现处理任意第三方网站和服务。他解释了为什么要用官方这套：模型就是在它的壳上训练的，速度、成本、准确度都可能占便宜。他也把信任说成是攒出来的——做可靠的东西、做对的安全检查、付款这类动作先征得同意、只授权任务真正需要的网站和应用。

他最喜欢的用例是让智能体测自己写的软件：传统流程里，Codex 建完东西、测试是你的事，你就成了它的 QA；有了 Computer Use，它可以建、也可以测，软件开发生命周期第一次由同一方走完。swyx 补了两个玩法：用视觉测试技能抓设计问题，以及一屏一屏地把不喜欢的 SaaS 克隆下来。

后半程换尼昆杰。他列了 GPT-6 带来的三件新能力：异步函数调用（工具在跑，模型不必暂停执行）、中途转向（模型推理到一半可以注入消息），两者都跑在 WebSocket 上——那条双向连接第一次上线是给 GPT-5.3 Codex Spark 用的。UltraFast 则是第一次把前沿智能放到极速档：Codex 内最高 8 倍、每秒 300 token，API 内最高 6 倍，今天能用上的是 GPT-6 Astra。他说推理团队先学会了省钱（Luna 价格被砍掉约八成），再换挡去提速。被问到算力来源，他对 Cerebras 既不确认也不否认。2

他先给 Jev 和它的团队致敬，说它启发了市场上这整个细分；同时 OpenAI 内部团队也在要「一套快得多的分类系统」。四周前这还完全不在开发雷达上：两位工程师被勾住、做了原型、跑通，全组就开始在延迟上爬坡，目标是达到延迟指标就发。swyx 提到两周里大约有一百个 Jev 克隆。67

尼昆杰说得很干脆：没有训新模型，就建在现有同一套 Luna 权重上，做的是约束（结构化输出是很大一块），再把推理栈优化到首个判断出得极快；一次可以问多个问题，就当成一批并行跑。swyx 顺手替产品侧理清一条：把推理关掉加结构化输出，并不等于就有了 Jev——真正难的是速度、准确度，以及那件还没来的东西：校准过的置信度。如果模型能答对 95% 却不说出那 5% 何时来，这件事就没法自动化；而 RLHF 会把它往「你想听的方向」塌缩。已看到的用法有两类：极快的分类，以及接上 GPT Live——说话者在前台快速分派、后台坐着 Astra，工具调用第一次不显得慢。架构上外面有两种猜测（扩散模型、机制可解释性），都还只是猜测。

最先扑上来的是用户运营团队：把所有支持工单分好类。第一方产品也先全建在 Agents API 上——刚发的 Codex 安全云、今天的会议类功能、插件扩展与 Chat Spaces 与 Pages。他想要的反馈分两类：新产品上任何反馈都要（路线图还没定），主力 Responses API 上要的是底层性能的具体意见。

Responses API 只剩两条路要打：延迟（整个栈被重写）与缓存（针对那种「一条线程永远往下跑」的个人智能体）。现在公开的是三十分钟内缓存命中的保证；对其中一个用户还上线了十二小时的缓存窗口，目前仍在预览里。预热可以让已知道要用的提示先付写入费、接下来三十分钟随时开跑，并派生很多实例。维布追问成本，答案是又便宜了大约 25%。他的建议是让应用「有缓存意识」，用提示诊断、缓存诊断这类工具看缓存是在哪一步掉出去的。

缓存再好也会撞上百万级 token 的上下文，而短期内不会变，所以压缩是必需件。三种做法：Agents API 里内建在壳里；Responses API 里可以设一个 token 阈值让它自动压（服务端压缩）；或者用手动的 /compact。他说很多大型编码智能体偏偏选手动那一条——开源的 Codex 壳用的就是 /compact，另外他们在实验基于文件的新压缩，其中一些已经落到 Codex 壳里。

他从 Stripe 带来一个比方：很多功夫是建在核心支付原语之上的更高层原语。他没想清楚的是，在 AI 里这件事该怎么设计——该不该有记忆墙，该不该提供更多更高层对象、把存储概念进一步抽象掉；惯例往往是「给一个底层原语、看一个示例壳，剩下让编码智能体实现」，但其中有多少该做进 API 仍是开放问题。swyx 用山姆一年前的说法收尾：这是一朵 AI 云，做的是 AWS 那场发明，只是每一样都做 AI 原生的版本。

底稿为官方单集页自带的完整逐字稿（358 轮，自带说话人姓名与每轮时间戳），逐句直译，只保留中文译文，不压缩、不摘要、不删减，每一轮都保留说话人标签：swyx（肖恩·王）／维布（Vibhu Norby）／阿里（Ari Weinstein）／尼昆杰（Nikunj Handa）。1官方逐字稿在快速接话处偶有交错，本轮逐轮核对过轮数与说话人顺序（358 轮一一对应）。节目结尾的订阅提示不属于对话，未列入。

维布：好，我们特别高兴能在这里。今天是 OpenAI DevDay。特别节目。 swyx：我们是你们直播之后的第一档播客。 维布：第一档播客。我们这里有阿里，他负责 Computer Use 智能体的产品与工程团队。在我们切入 Computer Use 细聊之前，你想先快速回顾一下吗？都发布了什么？你们今天一口气宣布了哪些东西？ 阿里：对。对，今天是特别让人兴奋的一天。我们刚下主题演讲，真的太猛了。有一堆跟 Computer Use 有关的发布，我觉得都值得想一想。我们有了 Dots，就是那个新的、算是个人助手的产物，它带了几个非常让人兴奋的 Computer Use 能力。还有 GPT-6.1 Sol，这个了不起的新模型，我觉得它特别适合 Computer Use，因为它有成本和速度上的优势。我记得我们讲过，它的价格是 Astra 的五分之一，如果只看 Computer Use，是七分之一，这真的很惊人。抱歉，东西太多了，我得理一理。 swyx：还有那个 API。 阿里：Agents API，现在里面有 Computer Use 了，这特别酷，因为开发者现在可以直接建在同一个 Computer Use 上，也就是 Codex 和 ChatGPT 用的那一套。然后还有一些我们已经有的 Computer Use 功能的演示，比如 app shots，你可以把电脑上正在做的事的上下文抓出来，非常快地带进 Codex 和 ChatGPT。还有 Mac 上的原生 Computer Use，罗曼让它自动给他的应用截图，Computer Use 在用他应用的时候，他还能在电脑上做别的事。所以，对，主题演讲真的很让人兴奋。 swyx：更别说 Decisions API 了。 阿里：Decisions API。 swyx：先问个直接的：它们是同一个模型吗？还是同一个数据集蒸馏到不同的模型上？ swyx：基本就是，Computer Use 在用 Decisions API 吗？还是它们俩其实是分开的？ 阿里：Decisions API 真正酷的地方在于，它有这些新能力。它并行做推理，它不做推理链，它是一个比我们给 Computer Use 用的更小的模型。这些能力让它非常快。 swyx：对。 阿里：它们也让它稍微不那么擅长做那种长周期、复杂一点的任务。所以我会说，怎么把这些路线合到一起，目前还是一个开放的研究领域。不过，对，我特别期待看到人们用 Decisions API 造出什么。 维布：有一件有意思的事，是 Dots 现在带上了自己的个人电脑。 阿里：对。 维布：所以它们看起来持久多了。你已经用了一段时间了。人们应该怎么把边界往前推？大家应该瞄准什么？该试什么？我个人现在用它做很多客服的事，就是—— 阿里：酷。 维布：「哦，这个是错的。我不想登录。我不想做身份验证。」找出问题，然后把它修好。 阿里：对。 维布：我们该怎么再往前推？人们该试什么？ 阿里：Dots 是一个很酷的产品，因为每一只 Dot 都能访问云端它自己的一台 Linux 虚拟电脑，这和我们其他产品不一样。传统上，我们有的是云端的一个浏览器，或者它能访问你自己的电脑，但现在你拥有的是云端一整台属于你的 Linux 电脑。所以它可以跑完整的桌面应用，它也能用网页浏览器。所以，对，我觉得 Computer Use 强大之处、也是我觉得它这么让人兴奋的原因是：它让智能体可以做任何你作为一个人能做的事，因为世界上所有软件都是为人设计的，而现在智能体可以用同一批软件，你可以把活派给智能体。所以，对，任何你会在电脑上做的事，你都可以让一只 Dot 去做。对，我觉得具体什么最有用，真的取决于终端用户是谁、他们生活里什么是有价值的。但我会先从想一件事开始：你花时间的某件事，你怎么把它派给智能体。 swyx：对，很多订机票、买东西，老实说甚至包括打游戏之类的，对吧？ 阿里：完全是。 swyx：对。 阿里：对，我不知道。对我来说，我最近做的一件事是，我一直在弄这个。我订了一家备餐服务，因为我想吃得健康一点，你知道吗？我特别喜欢我找到的这家备餐服务，因为它能让我以很高的颗粒度定制我订的餐。所以我可以写「我要这么多克鸡肉、这么多克米饭」。但它太复杂了。我下一单要花两个小时，后来我发现我可以让 Computer Use 帮我做，它十五分钟就做完了。所以我实际上省了两个小时。它做得比我又快八倍，而且是在 GPT-6.1 Sol 上，替我省了两个小时。 swyx：对。 阿里：所以这一类任务，我觉得是真的强大。 swyx：作为一个创作者，我可以马上告诉你，我的头号用例是自动化 YouTube。 阿里：不错。 swyx：因为 YouTube 很多东西不通过 API 暴露出来。 阿里：对。 swyx：你只能把它放进一个虚拟机里，然后就这么跑，比如说他们那个 AB 测试功能，或者发社区帖子。这些都没有 API，因为他们讨厌开发者。 swyx：反正，所以， 阿里：我从我们的开发者体验团队也听过同样的说法。他们经常拿它对付 YouTube。对，真的很棒。 swyx：所以我想画一下，你知道。这么说吧，我想稍微来点辣的。我们的一位、我们的朋友，领先的 AI 播客之一，以一句话出名，说 Computer Use 在过去两年没有进展。 阿里：对。 swyx：这句话很有意思，我觉得你是世界上最适合聊这件事的人之一，就是，事情到底是怎么往前走的，对吧？ 阿里：对。你知道，那是几个月前说的，我希望他们现在看法不一样了，因为 Computer Use 和当时相比，是 180 度的不同。 swyx：他可是个很难被说动的人。 阿里：对，好吧。那我们在努力。 swyx：但是，你知道，你一直在这上面。你基本上整个职业生涯都在做某种电脑自动化，对吧？ 阿里：对。 swyx：比如 Shortcuts。 阿里：对。 swyx：在苹果，然后是 Sky，再然后加入 OpenAI。你能画一下你的主线吗？什么在驱动你，还有，那时候可能做不到什么？ 阿里：对。 swyx：以及你的里程碑大概是什么。 维布：我想接着追一个问题：从上周用 Codex Computer Use，到今天，最大的变化是什么？ 阿里：对。 维布：是模型吗？是 Dots 吗？是壳（harness）吗？就是把整个历史，加上今天发布里真正变了的东西都算上。 阿里：对。说主线的话，我想我一直对自动化、对帮人把任务自动化这件事很兴奋，因为这样你就能省下人生里的时间，专注在对你更重要的事上，而不是非常精细地去操作一台电脑。所以，对，这就是我们做那些产品的原因。我之前在苹果。我们做了一家公司叫 Sky。我们最后加入了 OpenAI，这真的让人兴奋。我觉得有一件事是—— swyx：而且几乎像是你得在苹果外面折腾，直到苹果说「行吧，我们直接雇你，你就在里面干」，对吧？就像—— 阿里：那是个很适合工作的好地方。回头看 Sky，真正有意思的是，我们那时候也在做 Computer Use，而模型的能力差太远了。现在这些模型，就在过去这一年里，在 Computer Use 上变得极其能干。我觉得我看到的最大差别是：以前它们能可靠地开始任务，但接着就会撞上问题；现在它们真的很擅长调试。它们真的很擅长重试，去内省什么在起作用、什么不起作用。而且我觉得我们也把 Computer Use 这个领域本身往前推了。我们在用更多技术。现在 Computer Use 经常会写代码。所以如果你在 Codex 里看，手动展开那些工具调用，你能看到它不是一次只做一个动作。它其实在写 JavaScript 代码，然后由电脑去执行，有时候一次完成很多动作，这在速度上和能力上都是巨大的提升。我们用更多无障碍（accessibility）、多模态的界面。所以模型可能用截图，可能用无障碍信息，可能用 Playwright。它可以按手上的任务用很多不同机制。然后，对，模型加速一直就非常惊人。所以，今天有什么不同？我觉得我们一直在把电脑变得更好，所以只隔一天，大概没有过去一个月、两个月那么要紧。但是，对，我觉得 Dot 里的 Computer Use 真的很让人兴奋，还有我们推出的新模型。 维布：主题演讲上，特贾尔提到 Computer Use 速度提升了 7 倍，在几个基准上好了很多。你们是怎么想怎么衡量它的？Computer Use 是那种，像你说的，随时间不断改进的东西。 阿里：对。 维布：是壳吗？是模型吗？是后训练吗？ 阿里：对。 维布：你们内部怎么看它有多好，新模型带来的变化又是什么？ 阿里：我们其实有一堆不同的衡量方式，其中一些是在壳的不同排列和配置上做的。这件事有点复杂，因为我们的生产产品里有更多安全检查，而这些检查会根据手上任务的需要做不同配置。所以衡量它有非常多方式，但我觉得不管怎么衡量，我们看到的是相当一致的增益，而且这些增益有时候在壳里，有时候在模型里。对，这个结果让我特别兴奋：GPT-6.1 在 Computer Use 上比它相对 Astra 的基准成本改善还要更划算。看到这个真的很酷。 swyx：对。我是说，直播里我特别喜欢的一个画面是，你们在把那条曲线的帕累托前沿往上推，而且讲了很多你们是怎么和壳一起把它推上去的。 阿里：对。 swyx：能举几个「啊哈」时刻的例子吗？不管是模型驱动壳、还是壳驱动模型，随便哪种。 阿里：我不想重复自己，但我觉得，引入更多模态真的非常有力。 swyx：好。 阿里：一个更具体的例子是：过去，我觉得我们看到很多 Computer Use 产品得花大量时间去滚动页面，你知道吗？它会截个图，试着做点什么，然后发现「哦，我得往下滚到下一页结果」，然后再截个图，再试着做点什么，又往下滚。所以我觉得，有了无障碍信息和其他东西——直接访问 DOM 之类的——现在语言模型其实能看到整页或者整个应用。它可以写代码一次做多个步骤。所以我觉得这大概是最大的几个「啊哈」时刻。还有很多很小的，相比之下没那么让人激动，但我们也确实发现，很多速度提升是被大量小的「刀口伤」驱动的，得一个个钻进去看。 swyx：对，很多非常难的工程。 阿里：对。 swyx：我是说，就说 app shots，对吧？我觉得人们没太搞懂区别在哪，因为 Codex 里有个很好看的画面，当你—— 阿里：对。 swyx：当你拍一张 app shot 的时候，但人们可能没搞懂：你其实能够驱动每一个按钮，而且每个文本都在一个非常理想的表示里。 阿里：对。完全正确。对。其实挺好玩的。如果你想特别极客一点，你可以进 Codex，按两个 command 键拍一张 app shot，把你正在用的那个应用里的内容抓出来，带进 Codex 或 ChatGPT 的对话里。然后，如果你点那个附件，再点右上角那个很小的按钮，你就能看到原始文本和原始的无障碍表示。对，我们在这上面投入了很多工作。 swyx：就是把所有东西都倒出来。对。 阿里：倒出来，但同时也让它省 token、做得很高效。这里面有一点手艺。而且，你知道，结果发现，当年为人类发明的同一项技术——那些有无障碍需求、想用屏幕阅读器技术的人——那项技术对他们用电脑很有帮助，它对大模型用电脑也很有帮助。所以这件事做起来真的很好玩。 维布：给个背景，我觉得很多人不理解 app shots。他们甚至不知道这是个功能。 阿里：对。 维布：就是你双击 command，它会拉进来一个看起来像截图的东西。 阿里：对。 维布：然后你会想「哦，我为什么要把一张截图扔进去？」不，它其实把所有元数据、所有代码、所有东西都拉进来了。 阿里：对，完全正确。对。所以就像，你知道，如果你截一个带链接的网页的图——截图里不包含链接指向哪里。它也不包含，比如说你截了一张日程表的图，日程的标题是被截断的，你知道吗？但当你拍一张 app shot，它给语言模型的是关于一切的完整上下文，这让它能做多得多的事。 swyx：对。想看更多的人，我请了杰森·刘在 AI Engineer 上做了一整场工作坊来讲这个。 阿里：太棒了。 swyx：他讲得很好。 维布：我有一个更宏观的愿景问题。 阿里：对。 维布：关于 Computer Use 智能体。你说的「截个图、滚一下页、再截个图」，那是我们当时的位置。 阿里：对。 维布：今天，它们能自动化很多东西了。瓶颈在哪？是模型吗？是壳吗？你觉得两年后会走到哪？你觉得它会一连跑几个小时吗？我们怎么到那里？对 Computer Use 的去向，你有什么预测吗？ 阿里：对。我是说，我觉得真正疯狂的是，我认为团队在过去几个月里做到的是：现在 Computer Use 完成任务，比一般人大概还快——在大多数情况下。我觉得下一个前沿，是让 Computer Use 在表现上真正做到超人类，就是它用软件的速度，和我们这些熟练的电脑使用者一样快，甚至更快。我觉得那一刻到来会非常有后果、也非常让人兴奋，因为我们会突然间能造出提供更多实时体验的产品。而且我觉得它还会——降低 Computer Use 的使用门槛，或者说启动能量——我觉得这会让人们开始默认把某些我们习惯手工做的事交给智能体去做。我觉得这也让人兴奋，因为它会替我们省下大量时间。而且我觉得，挡在这条路上的有很多小的「刀口伤」和瓶颈。我觉得有，对，模型侧的、推理侧的、壳侧的、还有表示层面的。你知道，我们发现随着 Computer Use 变快，我们越来越多地被「执行一个操作本身的速度」卡住。比如说，你知道，在我们 Computer Use 任务的基准里，有相当一部分时间其实是在，比如说你在自动化 doordash.com 上的一个任务，很多时间其实是在等 doordash.com 自己加载完，你知道吗？ swyx：对，那你就写一个 wait，然后执行那个 wait。 阿里：对，完全是。而且你想要——其实，从它终于加载完，到你去做下一个动作之间的延迟越小越好。 swyx：对。 阿里：触发大模型去做下一个动作，而这本身其实是一门统计科学。 swyx：也许可以用事件驱动的方式来做。 阿里：可以的时候，你会希望它是事件驱动的。 swyx：JavaScript 有一些 load 事件。 阿里：网页浏览器对网页导航有 load 事件，但还有别的类型的事件，其实没法事件驱动。所以这里有大量复杂性。 维布：我想到的一个是，跟客服聊天。 阿里：对。 维布：回复可能要三十秒，可能三分钟。 阿里：哦，对。 swyx：我用 Codex 对付过太多机器人客服了。它很棒，但我也在想，对面知不知道自己在跟一个机器人说话，因为我回的都是完整的句子。我大小写都写对了。 阿里：这太好笑了。 swyx：我会给完整的参考号、全套东西。就是太——明显太好了。我不在乎，反正我就是想把我的工单解决掉。 维布：我给它下过提示，你知道，「别装成机器人。扮成一个非常烦躁的人类。」 维布：就说很短的句子，比如—— swyx：对。 维布：去催，去干这些事。我还会跟它说：「你在等回复的时候，用子智能体去研究更好的办法，弄清楚我们要什么。」 阿里：不错。 维布：就是一点点人类式的介入。 阿里：这太棒了。我也觉得有一半时间里对面本来就是机器人，所以现在你—— 维布：对。 阿里：——就让机器人互相聊天了。 swyx：对。我还要说，你知道，我们现在处在的 Computer Use 的一个里程碑是：三四年前，我们很怕把大模型接到网上，接到—— 阿里：对。 swyx：接到我们的设备上。而现在我让它帮我配 DNS。 阿里：哇。 swyx：我让它替我还账单，真的是，好几万美元那种东西我就直接交给它，用 Computer Use 一把梭，然后想，最坏能坏到哪去？ swyx：所以，这都很好。 阿里：对。 swyx：我觉得既然你们——你知道，显然你们也得自己吃自己的狗粮，所有这些事。既然你们把它放进 API 发布了，有没有什么坑或者建议想告诉开发者？因为他们马上要亲身遇到这些了。 阿里：首先，我真的很兴奋我们把 Computer Use 带进了 Agents API。我觉得这非常好，因为显然很多开发者在做想跟第三方网站和服务打交道的应用。而 Computer Use 有这种通用性——它什么都能干。所以现在，开发者突然就可以直接建在我们用的同一个 Computer Use 实现上。如果你想做自己的 Computer Use 壳，那是很有价值的工作，但它很难。而且我们的模型是在我们自己的 Computer Use 壳上训练的，所以用那个和模型同分布的那一套是有优势的。它其实可能在速度、成本和准确度上都有优势。所以我觉得人们能建在它上面是非常好的。而且，对，我觉得就着你刚说的那一点，我们其实都还处在这个过程中，也许我们中的一些人，在「对这种技术感到自在、并且信任它」这件事上，比世界上很多人领先一些。所以我觉得我们有责任去随时间建立那份信任：确保我们做的东西可靠、做对的安全检查、在做有后果的事（比如付款）之前征得用户同意，还有——也许取决于应用——确保只让它访问任务真正需要的那些网站或应用。所以我觉得这是需要认真想的事。不过，对，我真的鼓励大家去试新的 Agents API，在上面做各种酷东西。我们很想听到你们的反馈，看它跑得怎么样。 维布：你有没有看到它在开发者工作流上带来的变化？Dots 的一点是，你会在 Slack 里看到它。 阿里：对。 维布：你会看到人们用语音，然后就能建。罗曼演示的那个例子：改这个应用，顺手把过程截图发我，所有这些。 阿里：对。 维布：在采用上，你有没有看到人们怎么把 Computer Use 用在写代码的工作流里？有没有什么大家可以拿走的经验？ 阿里：我最喜欢的 Computer Use 用例之一，也是我们在真实世界里经常看到的，是让 Computer Use 去——让智能体真的测试它自己写出来的软件。这件事比听起来要有后果得多。因为传统上，你在 Codex 里做一样东西，Codex 帮你建好，然后你得自己测，你现在就成了智能体的 QA，对吧？有了 Computer Use，你就能把软件开发生命周期走完：智能体可以建软件，也可以测软件。所以我很享受，你知道，做东西、让智能体去测它。等它交到我手上，它已经能跑了。我还有个额外的乐子，因为有时候我自己就是在开发 Computer Use 本身，于是就出现了一个 Computer Use 智能体，在用我的 Computer Use 智能体，那个又去用了别的东西。所以，对，我真的觉得这是一类极其强大的用例。 swyx：我开发过一个视觉测试技能，它真的能抓出很多设计问题。 阿里：不错。 swyx：那种，你知道，你光看代码是看不出来的问题。不过它用来克隆应用也很好。如果你在用某个烂 SaaS，想把它干掉，你就一屏一屏一屏地克隆。显然 Computer Use 可以完全驱动一切，截图、记下来，然后用 Codex 把一切克隆出来。 阿里：这很酷。 swyx：不过，对，谢谢你们所有的进展。我觉得，这就是—— 阿里：当然。 swyx：我们的时间。 阿里：对。 swyx：我们还会再聊的。 阿里：对，好。这真的很好玩。谢谢你们请我来。 swyx：好。 维布：好。我们有个严格的时间点，就直接切进去。 尼昆杰：来吧，对。 维布：好，尼昆杰，我们特别高兴你能来。你在 API 这边发布了很多东西，就像我们刚跟阿里聊的。 尼昆杰：对。 维布：现在你可以用 Computer Use 智能体来构建了。API 侧的变化里有什么你想特别讲的？也稍微介绍一下你自己、你做什么。 尼昆杰：当然。我叫尼昆杰。我负责 API 团队的产品。在这里大概三年了，一直在做模型发布。我感觉这在我 OpenAI 的这段时间里就是个一直在做的事。每出一个新模型，我们都会尽量和后训练团队、研究团队紧密合作，弄清楚里面有什么新东西，然后把这些能力在 API 上暴露出来。大概就是这么回事。如果你看 GPT-6 带来的所有新东西，我们发布的很酷的新能力，首先是异步函数调用。你在 Codex、Dots 这些东西里看到的是：工具调用要花很久，所以你其实不必在工具跑的时候暂停模型的执行。你可以发起一个工具调用，继续跑，继续推理，然后再回来检查。所以我们发布了异步工具调用。我们还发布了中途转向（mid-turn steering），现在你可以在模型推理的过程中往中间注入消息，这样当你的工具调用结束时，你可以把指令放进去。 swyx：这也部分是一种模型对齐能力，对吧？ 尼昆杰：对。 swyx：就是它得把这种能力训练进去。 尼昆杰：完全正确，对。而且—— 维布：我感觉我们在应用里已经有这个了。它在推理的时候，你一直都能做引导。 尼昆杰：是的。 维布：只是不是最好的。现在好多了。 尼昆杰：对。 维布：很期待看它在这个版本里表现如何。 尼昆杰：对，而且我喜欢我们的主要—— 维布：现在—— 尼昆杰：我们在 API 上的主要目标是：一样东西一旦被训练进壳里，就把它放进 API。所以我们会等那个时刻，等到它足够好。这里的很多能力其实是靠 WebSocket 撑起来的，那是我们几个月前发布的。WebSocket 打开了和模型之间一种完整的双向通信。这不是那个 GPT Live 的东西，我说的就是 GPT-6。你可以做所有这些异步工具调用、异步推理、注入消息。这是一个很好玩的 API 要做的活。我觉得，真的很享受。 swyx：对。这就是为什么我们是那个工程向的播客，因为我们可以聊 WebSocket。 尼昆杰：对。 swyx：它跟 UltraFast 也配得非常好，对吧？ 尼昆杰：哦，对。 swyx：就是，我觉得这是有史以来第一次在 API 里可用。 尼昆杰：是的。 swyx：基本就是你能拿到的理论最快速度，前沿智能。 尼昆杰：对。做那个项目一直特别让人兴奋。在我说 API 之前，我觉得 UltraFast 最有意思的部分，就是看推理团队拿着 Astra 做饭。他们就是一直在跑那些 Codex 智能体，想法子再榨出一点性能。我会说，至少有好几个月，很多功夫都花在效率上、把成本压下去，这也是我们能把 Luna 价格砍掉大概 80% 的原因。很大一部分是他们在推理上落地的改进带动的。然后现在他们换了挡，转向「怎么让它跑得尽可能快」。所以 UltraFast 出现在 Astra 这样的模型上，看起来就很惊人。能跑到那么快真的很酷。还有 WebSocket——其实我们第一次发 WebSocket 是给 GPT-5.3 Codex Spark 用的，那个名字，我都不敢相信我们给模型起了这么个名，但反正我们就是为它发的。显然它帮了很大的忙，因为工具调用你必须要有，它真的把跟工具来回的额外开销降下来了。所以 WebSocket 在这上面很棒。 swyx：对。每次看到自己有个从没用量额被重置，还挺可爱的，我有个 Spark 的额度从来没用过。 尼昆杰：对。 swyx：就是，它在那儿，我需要的话就有。 尼昆杰：我觉得它终于没了。 swyx：没了。没了，对。 尼昆杰：我知道它没了，所以。 swyx：对。你们在慢慢干掉所有那些，你知道，那些—— 尼昆杰：老的，对。 swyx：老家伙们。 维布：这是很棒的一周。我是说，这是第一次我们把前沿智能跑在极速上。 尼昆杰：对。 维布：大家真的很喜欢。 尼昆杰：对。 维布：所以—— swyx：对。 维布：第一次它回来了。 swyx：对。5.3 Spark 是明确归到 Cerebras 上的。你们对 UltraFast 是不是跟 Cerebras 有关，既不确认也不否认，但人们在猜。我就说一句：人们很关心，也在琢磨这件事。而且你们也有自己的芯片。房间里那头大象：decision models（决策模型）。 尼昆杰：哦，对。 swyx：Decisions API。我们是第一档跟迪奥戈做过大规模 Jev 深挖的播客，我也在 AI Engineer 上请过他。你看到 Jev 之后，多快就想—— 尼昆杰：我的天。对。 尼昆杰：对。首先，真的要向迪奥戈和 Jev 团队致敬，他们真的启发了—— swyx：是的。 尼昆杰：——市场上这整个细分。显然 Jev 一出来，所有人都在为它疯狂。我们的用户来找我们，但同样，我们内部团队也说：「我们需要一套快得多的分类系统。」我们可以——我不想抢在 Dots 之后要出的一些功能前面—— swyx：呜。 尼昆杰：但你会看到一些很酷的、非常干脆、非常快的东西建在 Decisions API 上。不过，你知道，对，要致敬 Jev，它启发了这一整件事。显然 OpenAI 有一堆人被它勾住了好奇心，他们说：「我们怎么把它做出来？我们不打算——」 swyx：好。 尼昆杰：「——去训一个新模型。」但—— swyx：就像，四周前，这还完全不在开发雷达上，对吧？ 尼昆杰：完全没有。没有。 swyx：好。 尼昆杰：这就像—— swyx：哇。 尼昆杰：是受 Jev 启发，而且—— swyx：我觉得你现在正式是你家实验室里第一个把它克隆、并且采纳的。 尼昆杰：对。对。我觉得 OpenAI 有非常强的黑客文化，人们就是会为一件事兴奋。所以，推理那位，还有基础设施团队一位很棒的人，他们说：「这太棒了，我们来折腾它。」他们做了个原型，它跑通了，现在我们就是在延迟上爬坡，想把它做到尽可能快，我们想在接下来几天发布。所以一旦达到我们的延迟目标，我们就尽量把它放出去。 维布：这挺有意思。在黑客文化的同时，你们也是，像山姆说的，99%，最可靠的 API 之一—— 尼昆杰：嗯。 维布：而且我想大概是使用量最大的，那正好是你的团队。人们应该怎么看 Decisions API？我感觉很多人看到过 Jev、听过热度，但没真正用它构建过。你们现在让它变得非常主流。 尼昆杰：嗯。 维布：人们应该把它看成什么？应该怎么用？ 尼昆杰：对。我觉得我们见过的主要用例，是非常快的分类。所有 Computer Use 的演示都很棒、很酷。当然我觉得会有局限，就是在「让 Astra 写一段类 JavaScript 的脚本来控制你的电脑」和「让 Luna 一次挑一个动作」之间。我觉得它不会在同一个智能水平上，但也许有些 Computer Use 任务，它已经足够好了。所以很期待看到它跑出来。我内部见过的另一个很酷的原型，是人们把它接上 GPT Live。GPT Live 就是，你知道，我们那个双向的、实时的—— swyx：语音。 尼昆杰：——API。它建在前端模型和后端模型这个模式上。所以 GPT Live 是那个—— swyx：思考者还是说话者。 尼昆杰：超级快的。对，思考者或者说话者那套。所以 GPT Live 是说话者，超级快，很擅长分派，然后后台坐着一个类似 Astra 的东西。但工具调用在 GPT Live 里一直感觉特别慢。所以人们一直在拼这些——GPT Live 控制电脑的工具调用演示，感觉干脆、自然得多。所以我有点期待看到人们拿 Live 和 Decisions API 上的 Luna 做什么。这会很让人兴奋。对。 swyx：所以我想帮大家把这件事理清楚，特别是从产品侧，因为很多人一直在放 Jev 克隆。过去两周大概有一百个。 尼昆杰：哦，真的吗？太厉害了。 维布：头几天。 swyx：但是，就是，他们可以克隆一个 Jev 的 API，老实说那就是结构化输出。 尼昆杰：对。 swyx：那是 OpenAI 最先做的。 尼昆杰：对。 swyx：对吧？所以，我觉得我们帮大家理一下，什么是决策模型，就—— 尼昆杰：对。 swyx：就，重要的是什么？不只是延迟。也不只是结构化输出，对吧？因为我完全可以把 Luna——决策模型定价跟 Luna 一样，对吧？ 尼昆杰：嗯。 swyx：把推理关掉，然后做结构化输出。我就有 Jev 了吗？你知道的，不，对吧？而那—— 尼昆杰：对。 swyx：那才是真正的—— 维布：那里有个置信度。 swyx：对。 尼昆杰：对，完全是。我觉得，它的做法是——我们没有为它训一个新模型。 swyx：对。 尼昆杰：我们完全是建在现有的同一套 Luna 权重之上。 swyx：哦。 尼昆杰：对。所以这就是，真的就是 Luna。在此之上你要做的是做约束，所以结构化输出是很大一块。你其实是在优化推理栈，让它在 TTFD（首个 token 决策时间）上非常快。因为你可以一次问多个问题，你要做的就是让它们并行跑—— swyx：当成一个批次。 尼昆杰：对。你把它们当一批跑。你会用大家正在搞的各种推理技术，尽量把它做快。但我会说，至少我们的实现、这第一版，就是在 Luna 之上零样本做这件事，看看效果。显然你会想把它放出去。这就是 OpenAI 那种经典的迭代式部署：放出去，看大家怎么想，然后我们再按需要做更多模型改进。所以，对，这就是 Decisions API。 swyx：对。而且显然有个好处是你们有视觉。它们没有视觉，对吧？ 尼昆杰：没错。 swyx：显然 Jev 自带的是—— 尼昆杰：对。我们靠 Luna 白拿这个能力。对。 swyx：对。我确实觉得，你知道，有些创新听起来还没来，如果还是同一套 Luna 权重的话，比如置信度那部分，也就是校准，这是我们在播客里聊过、也做过基准测试的东西。因为基本上，关键在于 RLHF 会把你塌缩到用户想听的东西上。 尼昆杰：对。 swyx：而不是真正的置信度有多高。 尼昆杰：对。对，完全是。我很想看看结果会怎样。也许这些就会是—— swyx：对。 尼昆杰：——未来模型发布里，我们可能得去爬坡的关键领域。不过，对。 swyx：然后在架构上，争论里的另一件事是——当然，没人知道，因为 Jev 不说——但两种猜测：一是也许用扩散模型而不是自回归。 尼昆杰：嗯。 swyx：但你能用自己的方式做到并行生成。另一个是某种机制可解释性的东西。 尼昆杰：嗯。 swyx：就是你分析激活值，然后直接输出—— 尼昆杰：那会很酷。 swyx：——权重。 尼昆杰：对。 swyx：这个，你们做过这些研究。人们在猜。 维布：也已经有演示了。 swyx：对。 维布：这两条都有。我记得 Gemini 分享过一个 Gemini 扩散、Gemma 扩散，做成 Jev 式的输出。 尼昆杰：哦，帅。 维布：而做可解释性的人也从中层抽出过可解释的东西，但这些都是推测。 swyx：这就像，你到底想瞄什么，对吧？因为 API 你能做到。谁都能做到那个 API，其实挺容易的。但接着是速度，然后是准确度，然后是那些校准特性。 尼昆杰：嗯。 swyx：我不知道还有什么。 尼昆杰：对。对，完全没有。这整个领域现在被打开，人们会做很多很酷的东西，大家会互相学习，这太好了。对，我为此很兴奋。 维布：我感觉在平台团队，你的工作很大一部分是给构建者们赋权。 尼昆杰：嗯。 维布：你觉得人们应该用 Decisions API 和 Computer Use 智能体建什么？有没有你自己内部在建、觉得在新变化之后被真正打开的？ 尼昆杰：对。好，我想想。Decisions API，内部的用例相当明显。比如用户运营团队就扑上来了，我们说：「我们得把所有支持工单都分类。」还有什么？显然，有那些很酷的 GPT Live 演示。我肯定 Codex 应用团队可能会接过去，试着做点酷东西。所以，你知道，这整件事大概是一周前开始的，所以非常早期，而且—— swyx：哦，一周。 尼昆杰：我们很兴奋。对。对，基本就是这样。 维布：评测这块也有很大的推动，就是用大模型当裁判、那边延迟要很低。 尼昆杰：对。对。那会很有意思。然后，Agents API，我们基本上是把一堆第一方产品，比如 OpenAI 自己的产品，完全建在它上面。我们刚出的 Codex 安全那套东西，就是完全建在 Agents API 上的。我们还有——今天我们发布一个会议类的东西。 swyx：嗯。 尼昆杰：我记得有个演示。你还记得山姆展示插件扩展的时候吗？有个演示是，你在日程里，可以让会议纪要—— swyx：像，落进一个—— 尼昆杰：流进你的 space 里。 swyx：像 Google Docs 那类东西。 尼昆杰：对。 swyx：对吧？ 尼昆杰：那所有的东西，全都是直接建在 Agents API 上的。对，我就是很期待看到。我们把它放出来，看看人们会在上面建什么。 维布：我觉得你展示得很好。整个编辑 space、pages、协作、把你的 dot 加进来。就是，量很大，所以—— 尼昆杰：对。 维布：人们有很多灵感可以去找。 尼昆杰：对。用 Astra 都做得到，你知道。事情现在就是跑得这么快。就像—— swyx：对。 尼昆杰：人们从想法到执行的速度快得惊人。 swyx：有没有什么是你希望大家重点关注、给你们反馈的？就是，比如，你知道，也许你就把它放出去了，前面有个岔路口，你想让开发者帮你决定。 尼昆杰：我觉得 Agents API 和 Decisions API，它们是我们最新的产品。关于它们，任何反馈我们都想要，好判断该往哪带。那边，我们在 Responses API 上非常开放，它算是我们的主力。现在非常聚焦性能，而性能主要来自两条路。第一条就是延迟。我们一直在重写整个 Responses API 栈，从首 token 时间（TTFT）、从首 token 到完（DVD）的角度让它尽可能快。所以这继续是我们的主要焦点之一。第二件我们在努力做的是在缓存上真正往深里做，尤其是针对这些个人智能体——它们基本上就是一条线程，一直往下跑、永远不停。我们一直在把缓存这件事的水平往上抬。我们现在提供 30 分钟内缓存命中的保证。其实我们——给其中一个用户，我们刚上线了一个长得多的缓存窗口。所以我们有一个 12 小时的缓存保证，这样你能保证缓存命中—— swyx：那是公开 API 吗？ 尼昆杰：还不是。那是在预览里。 尼昆杰：我们会尽量尽快放开给所有人。但就是，你为缓存写入多付一点点，我们就保证在长得多的时间段里缓存读取。所以就算你的 instinct 线程，比如你在上面做了点事，然后三四个小时之后回来，你还是能拿到缓存的性能。然后我们还上线了—— 维布：而且你那边成本也降了不少，对吧，用新模型？ 尼昆杰：哦，对。没错。 维布：就是，便宜了 25%，所以—— 尼昆杰：对，把缓存读取的成本压下去，对。 维布：对构建者来说，他们应该实现—— 尼昆杰：对。 维布：因为它便宜太多了。 尼昆杰：对。对。就是，建应用的时候要非常有缓存意识，用我们的提示诊断、或者缓存诊断工具，弄清楚哪里在掉。所以缓存这块真的很重要。对，我还想说说预热。我们现在 API 里有这个了。所以，如果你知道「嘿，我马上会拿到一个缓存」——抱歉，「我马上会拿到这个提示，我就想现在先把缓存预热，先付掉缓存写入费，然后让它在接下来三十分钟里随时待命。」 swyx：而且它可以派生这条线程的很多实例。 尼昆杰：完全正确。 swyx：对。 尼昆杰：你可以一直往下走，然后有—— swyx：对，就一直拿提示去折腾 尼昆杰：一大堆那样的东西。所以，对，我很期待收到关于底层性能的反馈，好让我们把 Responses API 继续做成在大模型之上构建时性能最好、最可靠的那条路。然后你基本上就有我们的新产品了，那边我想要的、就是任何反馈。 swyx：对，用就完了，对吧？ 尼昆杰：所以，对，就是去用—— swyx：告诉我们该—— 尼昆杰：对。请帮我们把路线图定下来。就这样。 swyx：对我来说，缓存这件事很好，对吧？显然非常需要。但到最后，你还是会撞上百万级 token 的上下文。 尼昆杰：嗯。 swyx：而且在可预见的将来这大概不会变。 尼昆杰：嗯。 swyx：你还是需要好的压缩。 尼昆杰：对。 swyx：那边的最佳实践是什么？ 尼昆杰：对。对，完全。首先，OpenAI 有自己的专有压缩，comp—— swyx：它在—— 尼昆杰：Compaction（压缩）。 维布：Compaction。 swyx：它在 agents 里。 维布：它在 API 里。 尼昆杰：是的。 维布：Agents API。 尼昆杰：对。 swyx：你替我们决定，对吧？ 尼昆杰：对，完全正确。在 Agents API 里，它是内建在壳里的。如果你在 Responses API 里，有两种做法。一种是我们叫服务端压缩，就是你告诉 Responses API，只要你撞到某个 token 阈值，就自动压缩它，然后回去——抱歉，是减少正在使用的上下文。第二种方式是 /compact，就是如果你想要完全的控制权。所以你可以在任何时候 /compact—— swyx：我懂你的意思。 尼昆杰：用你自己的逻辑决定什么时候—— swyx：这还不是 AGI。 尼昆杰：它。 swyx：这还不是 AGI。 尼昆杰：对。对。 swyx：对。但它，我是说—— 尼昆杰：对。 swyx：它是手动接管。 尼昆杰：对，它是手动的方式。而，我不知道，但很多大的编码智能体喜欢手动做。我是说，如果你看 Codex 在开源的 Codex 壳里的实现，你能看到他们用 /compact 来做。而且，顺便说，我们还在做新的压缩技术。其中一些你能在 Codex 壳里看到，它已经在 Codex 壳里实现了。是一些基于文件的系统，我们在拿它做实验。所以，对，压缩这块也有不少很酷的事情在发生。 swyx：酷。我们的时间快到了。 尼昆杰：好。 swyx：我觉得你讲了很多性能，也讲了很多你正在发布的新 API。就平台未来而言，你能不能再给一点别的提示，说你对什么感兴趣？ 尼昆杰：我们显然非常底层。来这之前我在 Stripe 工作过，在 Stripe，很大一部分游戏就是在核心的支付原语之上，建这些更高层的原语和产品。我一直很好奇，在 AI 里做这件事最好的方式是什么。我觉得我们为此试过几次。我们很早以前发过 assistance API，那个其实不太对。我们现在在这条路上走的是 Agents API，它给你 Codex 的壳，但在那里面该给多少灵活性，是个开放问题。我们该怎么做记忆墙（memory walls），所有这些更高层的 API 对象，既是为了减负，也是为了把更多存储概念抽象掉。这就像一个很大的、有一整片空间的问题，我非常好奇我们该怎么设计。我觉得 AI 里很多事情就是：给一个底层 API 原语，再看一个示例壳，然后让你的编码智能体去实现它。但这里面有多少该做进 API，是我一直在想的常问常新的问题。 swyx：对。 尼昆杰：所以我不知道大家有没有想法。谁有想法，我都会特别想听。 swyx：对。我一直会带回来的那个类比，我们就以此结束：你们在建一朵 AI 云，对吧？ 尼昆杰：嗯。 swyx：这是山姆一年前说过的东西。 尼昆杰：嗯。 swyx：你几乎就是在做 AWS 那场发明，你得说，好，这是 EC2—— 尼昆杰：对。 swyx：这是 S3，这是——但你做的是每一个的 AI 原生版本。 维布：这里有很多类比，比如你在为那些你知道会来的东西预热缓存。 尼昆杰：对。 维布：而且它全都暴露给构建者，这很好—— 尼昆杰：嗯。 维布：因为它就打开了你构建新东西的方式。 尼昆杰：对，完全是。 swyx：好。 维布：太好了。那么—— swyx：就这些了。 尼昆杰：谢谢你们。 维布：谢谢。 尼昆杰：对。