Modal 的 CEO 说，算力是按三年一个方块卖的，需求却是一条曲线。他们把上万条曲线叠成一条，再切回给每个人——沙箱的中位时长只有 8 秒1。
本期要点
0:00 Modal 在做什么
一句话版本：Modal 卖的是 AI 基础设施，一个计算平台加一个存储平台，客户写几行代码就能调起算力，底下全部容量由 Modal 管。落到实际是大量的推理、大量的沙箱，有时是训练和微调，有时是批处理。
他点名的客户有 Decagon、Suno、Runway、Cognition。Modal 官方在 D 轮公告里还列了 DoorDash、Ramp、Linear、Hebbia、Physical Intelligence、1X、Chai Discovery，以及 TypeSafe 的 Jev——后者上线头三天在 Modal 上跑掉了 1 万亿 token2。比起两年前上这个节目，他说规模至少是 50 倍。
1:25 从 Spotify 到 Modal
2008、2009 年毕业后他就进了 Spotify，一待七年，主要工作是搭音乐推荐系统——related artists 和 Discover Weekly 都出在这条线上，靠的是大量矩阵分解和计算密集的活。
他说后来做 Modal 很大一部分动机就来自这里：在做 AI 应用的过程中意识到基础设施实在太烂。Better.com 那五年是另一回事，他做了五年 CTO，把技术团队从两三人带到三四百人，学到的是管理、招人，以及对开发者生产力的判断。
4:19 在生成式 AI 之前创业
离开 Better 之后他并不确定要不要创业，疫情期间几乎算休了个长假。第一个想法是网页抓取，没成；Modal 大概是他做的第三个东西。
有一条线索值得注意：他在 Spotify 开源过工作流框架 Luigi，2021 年回头想把它商业化，却发现核心那块拼图不是「编排计算」，而是「把计算真正跑起来」。这个判断的分岔，最后长成了 Modal——一个让人在云上跑代码变简单的平台，一开始并不专为 AI。
7:43 第一批客户与融资
有一阵子他自掏腰包，到最初几个员工都没融资，自己也长期不拿工资。2022 年初才融种子轮，那时已经做了一年；阿克沙特（Akshat Bubna）大约 2021 年 8 月加入做联合创始人兼 CTO。
真正的收入拐点是 Stable Diffusion，不是 ChatGPT。2022 年 11 月每月 100 美元，12 月 2,000 美元，2023 年 1 月突然 3 万美元。那 3 万美元基本来自一个客户——纽约做 Stable Diffusion 的 Mage，2023 年第一季度占他们 80% 到 90% 的收入。年底 Suno 接上，也占了一大块；现在他说收入分散度已经好得多。
10:00 为推理与自动扩缩容而建
他的判断是：每个技术时代都会撞上上一代工具的局限。云时代逼出了 Kubernetes 和 Docker，但那套东西是为稳定、低利用率的后端负载造的，CPU 便宜，大家不太算成本。
GPU 时代不一样：卡很贵，要管容量和利用率；模型很大，要通过网络载进 CPU 再到 GPU。所以他们自己做了文件系统、CPU 与 GPU 快照、自动扩缩器、调度器和一整套容量管理工具。他承认这不是最优美的路，但「你不能在老东西上包一层去做新东西」。
13:21 Modal 的容量从哪来
最早几年，容量几乎全来自超大规模云的 spot 和按需实例，先用 AWS，再用 GCP、Azure；很早就从甲骨文租到 A100 和 H100，价格很好。spot 是可被抢占的，但因为能从几百个区域聚合，这套模式一直跑得通。
过去一年情况变了：要拿容量得跟多得多的云合作，很多情况下要签三年以上、预付一笔不小的钱。他们为此建了一个四人全职的采购台和一个十人的裸金属工程团队，处理网络、坏盘、GPU 从总线上掉下来这些事。到目前为止 Modal 一张卡都不持有，全部是租的。
15:39 租还是自己买
买有买的复杂度：运营上要跟供应商、电力、线缆打交道；财务上要么融股权（很稀释），要么发债（得先有锁定的长期收入去付利息）。
他在这件事上不教条，但倾向很清楚：软件公司不该持有重资产，就像大多数公司不该买下自己的办公楼。只是为拿到 2027 年要的容量，一切都在桌上，包括合资和复杂的购电协议。
19:45 GPU 价格下跌的风险
他说 AI 投资正在变成美国 GDP 的几个百分点，美国利率最近几周也在上行，而那些 neocloud「是非常非常精密的金融工程公司」。他不认为算力被完全垄断：英伟达一个月交付几十万块 Blackwell，肯出高价就买得到。
价格在涨这件事本身反常——硬件的常态是越往后越便宜。他把它比作疫情抢厕纸和挤兑，能持续六个月还是三十六个月很难说。他不太担心涨，反而担心崩：那会砸到所有锁了大量供给的人。
24:18 AI 的需求是无限的吗
为什么不趁便宜把容量全买下、用不完再转卖？他反问知不知道亨特兄弟——交易史上想垄断白银市场的那一对，结局很惨。
他自己的做法是激进地买、激进地融钱，所以自称非常看多；但要点出尾部风险：价格跌、利用率跌、转卖市场消失，这三件坏事会同时发生。他 1999 年入行，见过互联网泡沫和金融危机，想建的是一家能活三十年的公司。
26:12 英伟达之外的替代
「过去五到十年，我每年都说下一年是英伟达之外加速器之年。」他觉得 2027 年可能是真的：这些芯片在某些任务上开始拿到很好的分数。
TPU 在谷歌内部用得很广，效果看起来很好；但他提醒更深的瓶颈在台积电、ASML。他也提到混合推理的做法：prefill 跑在英伟达上，decode 跑在 Cerebras 上，因为有些环节算力受限、有些环节内存受限。Groq 也在他的观察名单里。
28:25 neocloud 教会了什么
他把 neocloud 的扩张拆成一套金融结构：先找一个像 Anthropic、OpenAI 这样的大买家签五年合同，拿着合同去华尔街融钱，再去找超微、戴尔、英伟达拿硬件，装机、交付。
结果是你可以先把还没买的东西卖掉，扩得极快。他举的例子是 Nscale：从一个几乎不存在的公司，到手上项目管道几千亿美元。CoreWeave 让他佩服的是另一件事——把 GPU 当作贷款抵押物的能力。
30:26 GPU 作为一种资产类别
Silicon Data、Compute Exchange、Ornn 这些公司在做算力的价格指数、指数化产品和衍生品。他说有意思，但算力远不如其他资产同质：网络、位置、磁盘、CPU、可靠性全不一样。
石油其实也可以这么说，而石油被做成了可交易的东西。所以他不否认这个方向，只是觉得在我们现在这个部署规模上，风险对冲与风险分担确实需要更聪明，而这不等于 GPU 会变成亨利枢纽。
31:55 两个产品：函数与沙箱
Modal 的价值主张他拆成两块：Functions 从 2021 年就在，占收入约三分之二，主要是推理；Sandboxes 2023 年上线，占约三分之一。官方口径里沙箱单独是 3 亿美元年化收入、接近 30 亿个沙箱、100 万个并发3。
他明确说不想把 Modal 做成 neocloud——卖「三年期、这么多张卡」的矩形，是另一个生意。他们真正在卖的是把成千上万客户的需求叠平之后，再按需切给每个人。
36:03 中小规模训练的机会
他不做十万张卡那种超大训练，那会去跟超大规模云签巨型合同。他看好被忽视的中段：研究员在迭代、小模型、文本与语音模型、计算生物，「你不需要十万张 GPU」。
他也说微调现在变得可选：开源模型好到可以直接换上去跑，Kimi K3、DeepSeek 4.1、GLM 5.3 这些几乎和前沿一样好，成本低得多。所以他们更看好后训练和强化学习，而不是押注人人都要微调。
41:21 agent 沙箱正在怎么变
沙箱本身不是差异化最高的市场，他们押的是底层原语：虚拟机、沙箱之间来回传数据、fork、快照、从快照恢复、在线迁移。
他的核心愿景是把「醒来—睡去」的周期压到极短：100 毫秒起一个沙箱、跑几条命令、关掉、做快照。这样才可能跑只活很短一段的沙箱，算力效率也才上得去。他顺带解释了为什么 CI 还没被这么干：开销太高，切 shard 之后每个 shard 都要重做一遍安装，像阿姆达尔定律。
46:48 Anthropic 与沙箱安全
Anthropic 的托管 agent 支持「自带沙箱」，Modal 是其中一个选项。他觉得这很符合对方的利益：推理的钱在他们那边，其他部分生态越大越好。
关于 Hugging Face 事件，他先划清一件事：被黑的是跑在 Modal 上的一个应用，攻击者利用那个应用的漏洞拿到跳板，「不是 Modal 被黑了」。就像 AWS 上偶尔有应用被黑，不等于 AWS 被黑。
49:29 用 agent 来测安全
他承认教训是有的：能不能在默认设置上更严一点。他拿 S3 作类比——AWS 后来把「一不小心把桶设成公开」变得难多了，这既不妨碍产品好用，也确实减少了事故。
另一边他们开始用 agent 打自己：把 agent 放进沙箱，问它「你能不能逃出去」，密室逃脱那种玩法。几个月前开始，差不多是 Fable 出来的时候。到目前没找到什么，但他说这些 agent 非常擅长探进系统很深的地方、试着提权、试着往外爬。
52:51 agent 时代的开发者体验
有了 agent 之后开发者体验还重要吗？他说重要，而且实践里两者几乎重合：好文档、说清楚的报错、快的反馈回路，对人和对 agent 都成立。他自己配 Cloudflare 时扔了个 agent 上去，就省掉了一堆麻烦。
但有些事变了。第一，弃用变难：agent 偏爱旧的 Modal 语法，「因为 agent 的训练数据，现在弃用东西非常难」。第二，出现了另一种 SEO：他会跑内部基准，让 agent「部署一个 Stable Diffusion」，看它推不推 Modal。
57:45 FDE 在做什么
前向部署工程师从年初的 4 个扩到约 24 个。他们做性能调优、抓客户过度配置、帮客户把代码从别的平台迁过来，也参与关单。
他对这个职能的定义很清楚：A 是参与销售，B 是服务客户，C 最重要——把产品里的缺口桥接出来，之后做成功能。「长期看，怎么才能不再需要一个 FDE 做这件事？」
59:55 Modal 的产品管理
他们不招产品经理。他说这不是反产品管理，而是觉得很多公司招得太急；在基础设施公司把产品管理做好极难，需要很深的战略判断——什么才是基础积木、一到两年后要站在哪里。
他真正怕的是另一种结局：攒出三十五个看起来差不多、各自做的略有不同的功能。所以现在做产品的人，是原来 DevRel 或工程师里展现出这种判断力的人。
1:03:29 可选代码评审与工程文化
在他看来，代码评审很多时候是人们想逃避「把东西合进生产」的责任。所以 Modal 的评审是可选的，靠的是极好的测试与发布控制——基础设施公司要比一般创业公司多一个 9。
另一个变化是向 IC 回摆：很多人不愿意做经理了。「做经理还是做 IC，在威望上没有区别，大家都是技术团队的一员。」他自己也还在写代码，阿克沙特也是。
1:05:56 云、本地部署与自带云
他不做 on-prem，也不看好 BYOC、VPC 对等这一类：那反映的是一种过时的安全模型，把网络当护城河，「我们已经走到零信任了」。多租户还有产品上的好处——可以随时换数据库，不用考虑客户环境。
但如果真有财富 500 强客户要 BYOC，他会报价，而且报得很高：「到目前为止没人答应。」价格合适他还是会做，因为那也可能是拿到容量的一种方式。
1:09:25 容量、融资与增长
在这个局面下，钱最主要的用途是容量和预付款。两百人的工资在整体财务里「基本是个四舍五入的误差」。
他说自己现在想得最多的三件事：容量与随之而来的财务复杂度、产品策略里的下一个积木、以及两百五十人规模上的文化与公司建设。
1:13:07 团队怎么扩
过去十二个月按年化算长了约四倍，他直说不可持续；明年大概 2.5 到 3 倍，年底 250 人、明年可能 700 人。四倍的时候你会看到文化漂移、看到不同工作风格形成的孤岛、看到有人在做很边缘的东西。
招的人主要是系统工程师：Linux、文件系统、网络、云。因为往栈上走了一层，现在也要 GPU 性能这一类——CUDA、MFU、把每张卡的 token 数打满。同时在建研究团队，方向是后训练、蒸馏、量化。
1:17:28 他那些推文：短命沙箱
他转过自己的一条推：今天很多沙箱还是「把开发机搬进云」的思路，真正的方向是更短暂的东西——一条命令一个环境，能暂停、恢复、克隆。
他补了一个数字：今天 Modal 上沙箱的中位时长大概是 8 秒。长跑沙箱也有正当用例，但他想往更短、更碎的方向拉。
1:18:31 矩形 GPU 合同的问题
「GPU 稀缺最大的坏处不是难拿，而是几乎全部容量都按三年期卖、还要从三到六个月后才开始。那不是多数用户需求的形状。」
这是这期的主论点。他们的解法是把需求聚合成一条平滑曲线，再切回去——他把这叫作「期限变换」。沙箱收入每个月涨 30%，他自己都说看不懂。
1:21:20 推理商与模型厂
他的结构性论证是：最好的模型一直在换，所以需求会在模型之间搬家。每家实验室各自持有容量，就会在发布时缺、被超越时空；推理商可以在模型之间重新分配资源，因为总需求是平滑的。
被问 LLM 是不是大宗商品，他没接这个框，反问「泰勒·斯威夫特是大宗商品吗」。只要实验室能反复发布、毛利够摊销训练成本，这仍是不错的生意。
1:23:25 模型下一步强在哪
他不认为智能在平台期。模型在可验证的事情上已经很强：编程、数学、网络安全，这些都是用强化学习能高效训出来的。
真正还没定的是目标更弥散、反馈更长的领域——做饭这类事情，他觉得人类还会强很久。他自己有物理背景，最期待的是计算生物和材料科学：那里有模拟、有测量、能把 agent 放进回路。
口径与核对
已核到官方口径：D 轮 7.5 亿美元、投后 157.5 亿美元，Accel 领投、Kleiner Perkins 加入，老股东 Menlo、General Catalyst、Redpoint、Lux、Amplify、Bain Capital Ventures 全部跟投；年化收入破 10 亿美元，用量五个月翻三倍、同比增长逾 15 倍；沙箱单独 3 亿美元年化、接近 30 亿个、100 万并发；团队 200 余人，分布在纽约、旧金山、斯德哥尔摩；累计融资超过 12 亿美元24。
两处口径出入：一，节目里他说「大约 25 家云」，官方公告写的是「20 多家云」，取官方数字更稳。二，公司的阶段描述用了「年化收入」而非「ARR」，官方博客标题里的是 annualized run rate，两者在中文里容易被当成同一件事。
只有节目里说过的：25 家云的具体数字、四人采购台与十人裸金属团队、亚美尼亚 32 个节点与印尼 128 个节点、一亿美元级的容量承诺、内部那套「Modal MAX」评分、沙箱中位数 8 秒、FDE 从 4 个到 24 个、700 人的明年目标、BYOC 报价高到没人答应。
未决：GPU 价格会不会崩、2027 年是不是非英伟达加速器之年、算力最终会不会变成像原油那样的可交易资产——这三件他在节目里都只给了判断，没给定论。
转写说明：本期逐字稿由节目提供的自动转写生成，没有人名标签。译文按问答内容归属到「巴兹尔」与「埃里克」两位；个别专有名词按上下文与官方页面校正（如 Decagon、Luigi、Suno、Nscale、Ornn）；转写里有一处工具名听不真切，译文照实标了「原文转写含糊」，没有替他补一个具体名字。
逐句全文翻译
底稿是节目随附的完整自动逐字稿。节目没有给逐字稿加说话人标签，这里的「巴兹尔」「埃里克」是按问答内容归属的；内容不压缩、不摘要、不删减，只把口语里的重复与语气词顺成可读的中文。
1 · 0:00 Modal 在做什么
巴兹尔：谢谢你来，Modal 的埃里克·伯恩哈德松。能不能先简单说说这门生意是什么，以及你是怎么走到这一步的？
埃里克：好。最简单地说，我们做的是 AI 基础设施。我们提供一个计算平台和一个存储平台，让 Decagon、Suno、Runway、Cognition 等很多客户能够真正把自己的 AI 应用做出来。落到实际，就是大量的推理、大量的沙箱，有时是训练和微调，有时是批处理任务等等。我们基本上做了一套软件 SDK，让客户能跑得很快、把这个东西搭起来；底下所有的算力由我们来管，让部署、扩缩容和生产环境里的运行都变得更容易。
巴兹尔：你两年前上过 Latent Space，那之后发生了很多事。当时你们有多大，能给多少数字就给多少；和现在比，又是多大？
埃里克：我其实不记得当时我们在什么位置了，但大概是至少 50 倍吧，收入、用户、用户数都是。
巴兹尔：我自己也用它做一个副业项目。
埃里克：不错。
巴兹尔：就是把 2D 图片转成 3D 模型那种。
埃里克：对，就在上面托管几个模型。你觉得怎么样？有什么反馈吗？
巴兹尔：我挺喜欢的。
埃里克：好。
巴兹尔：对，这也是我为什么用它而不是别的竞品。
埃里克：好。所以在做 Modal 之前，你在 Spotify，也在 Better.com，我记得。
2 · 1:25 从 Spotify 到 Modal
巴兹尔：对。你在 Spotify 做什么？
埃里克：我在 Spotify 做过很多不同的事，但主要贡献是做了它的音乐推荐系统。我毕业后 2008、2009 年那会儿加入，在那里待了七年。大部分时间基本是从零开始搭音乐推荐系统，带起了一个小团队，我们上线了一批功能，比如 related artists 和 Discover Weekly，还有一堆别的东西。所以是大量的矩阵分解，大量计算密集的东西。可以说，后来 Modal 的起点很大一部分就是：我自己在做 AI 应用的时候意识到，基础设施实在太烂了，一定得有更好的办法。所以 Modal 的很多理由，其实就是造一个我在 Spotify 那些年一直想有的工具。
巴兹尔：所以 Modal 更多是 Spotify 那套经验的延伸，跟 Better.com 关系不大。
埃里克：对。Better.com 算是绕了一段路，那家公司像坐过山车，故事很长，我们另外聊过。但我在 Better 做了五年 CTO，把技术团队从两三个人带到三四百人。所以我在管理、搭团队、招人上学到很多，也在开发者生产力上学到很多，认真想过工具这类东西，也做了更多全栈的活。但之后我还是回到了自己心里最在意的那块：基础设施、AI 和机器学习。
巴兹尔：Better.com 当时是做什么的来着？
埃里克：房贷。
巴兹尔：好。你怎么进到那个行业的？
埃里克：这块不用花太多时间。
巴兹尔：没事，可以讲。
埃里克：当时有个叫扎克·弗兰克尔的人，我那时并不认识他，他把我招去 Better 做 CTO，公司只有 10 个人。然后，不管什么原因，创始人维沙尔是个非常有意思的人，非常非常聪明，有一点疯，但基本是好的方向。我们处得很好。所以 2015 年我们开始做，我在那家公司花了五年把它做起来。后来事实证明做房贷挺难的，疫情之后利率上得很快，公司出了很多问题。不过那时候我已经走了。
巴兹尔：你是 2020、2021 年走的？
埃里克：差不多。
巴兹尔：好，那你是有了 Modal 的想法之后走的，还是走了之后才开始？
埃里克：很难说。我离开 Better 的时候有一堆零散的想法，其实并不确定自己想不想创业。疫情期间我几乎算是休了一次长假——两个孩子，我现在还是有孩子，但当时大概一个两岁一个四岁。所以我决定先待着，休息一段时间，部分时间做点事，写点东西，也不确定是不是该去做咨询，然后就动手开始搭东西。后来我对一个最终变成 Modal 的想法特别兴奋。不过说实话，Modal 之前我大概做了三十个东西，之前还有几次尝试都没成。
3 · 4:19 在生成式 AI 之前创业
巴兹尔：不过我猜，第一个让你觉得「这个挺酷、我应该做、这可能是个很酷的平台」的想法，就是 Modal。
埃里克：对。其他想法也是在同一个方向上吗，比如开发者工具？
埃里克：第一件事是某种网页抓取的东西，没成。不过回头看，也许本来能成。
巴兹尔：那是在 ChatGPT 发布之前吗？
埃里克：对，2021 年。
巴兹尔：哦对，ChatGPT 是 2022 年底。
埃里克：对。所以在我开始做之前，稍微往回倒一点：我在 Spotify 的时候开源过一个框架叫 Luigi，是工作流编排那一类的东西。跟 Airflow、Prefect 算是同一个类别，这类东西现在某种程度上有点过气了，大家聊得没那么多，但当时它确实得到过很多关注。总之我一直没把它做成生意。几年之后的 2021 年，我在想创业点子、想该做什么的时候，又绕回了工作流编排，开始试各种想法：怎么在云上跑代码、怎么编排在云上跑的代码。然后我意识到，归根到底核心的那块拼图不只是「编排」计算，而是「执行」计算——真正把代码跑起来。我想，那其实是个更大的问题。
埃里克：所以某种意义上我把它先搁在架子上，说我要先去做另一边那件事，回头再来搞工作流调度。但长话短说，我再也没回去，最后做出来的是 Modal，重点更像是：我们就想办法让「在云上跑代码」这件事变简单。而且一开始的定位相当通用。
埃里克：后来我们又绕回来了一圈。当时我们想着专注很多不同的应用，想法就是：让在云上跑代码变得极其简单。可以是 GPU 代码、AI、机器学习，也可以是数据处理。我们花了很大精力在怎么扩起来、怎么把开发者体验做到很好。很早我们就意识到，要做到这一点必须往栈的深处走，于是我们做了自己的文件系统、自己的容器运行时，解决了一堆很硬的工程问题。
埃里克：然后你提到 ChatGPT——它其实不算那个杀手级应用。但如果你记得，那年秋天差不多同一时间还出了另一个东西：Stable Diffusion。Stable Diffusion 反过来成了我们当时在做的这件事的杀手级应用。我们那时候只有四五个人，突然就不断有人找过来想跑 Stable Diffusion 模型，这让我们意识到：也许生成式 AI 推理对我们来说是个非常好的用例。
巴兹尔：你是怎么把人吸引过来的？
埃里克：我就是个强迫症式的推主，那时候比现在更严重——现在被做公司分掉了注意力。但我一直发很多推、写很多博客，所以可能有点粉丝基础。早期很多增长其实就来自我不停地发推讲 Modal、讲我在做什么，把人带动起来，写长博客讲云要往哪走这些。我把它叫「创始人主导的市场营销」。我一直觉得你得顺着自己擅长的事情去做，而我擅长的，大概就是胡说八道和永远在线。所以对，到现在我觉得我们增长的很大一部分，就是我们比较会玩社交媒体、比较常年泡在网上。
巴兹尔：多久才有第一个客户？还有，你早期融资了吗？
埃里克：花了挺久。有一阵子我们没融资，我自己出钱撑着，一直到最初几个员工都是。某种意义上是好事，因为你会对钱非常抠，会想看投入产出。有很长一段时间我不拿工资。后来有一阵子这变成了问题，因为我需要钱。但我们确实很久没融，直到 2022 年初才融了种子轮——那时候我已经做了一年左右。阿克沙特是大约五年前、差不多去年八月，也可能是 2021 年，作为联合创始人兼 CTO 加入的。但真正看到有意义的收入，基本要等到 2022 年底。所以这大概也是为什么我为你感到骄傲（笑）。
埃里克：Stable Diffusion 在我们这里是主要的那件事。我们从 2022 年 11 月大概每月 100 美元，第二个月做到每月 2,000 美元，然后 2023 年 1 月突然做到 3 万美元。我终于觉得压在胸口的巨大焦虑被拿掉了：也许我们真的做对了什么，感觉像是抓到了什么。然后 2023 年我们长得非常快。
4 · 7:43 第一批客户与融资
埃里克：我想从那之后我们基本一直在快速长。
巴兹尔：那个每月 3 万美元的时刻，是几个大客户带来的，还是说相当分散？
埃里克：就一个。我也不知道自己有没有公开讲过是谁，他们自己知不知道，但我猜他们怀疑过。是纽约一家叫 Mage 的公司，做 Stable Diffusion 的。所以 2023 年第一季度某个时候，他们大概占了我们收入的 80%、90%。但之后再往后就开始分散了。2023 年底 Suno 成了我们的大客户，有一阵子也占我们收入的一大部分。不过随着时间推移，我们现在收入的分散度其实相当好。
巴兹尔：Stable Diffusion 这块，我记得自己用过 ComfyUI。我猜很多人是在上面跑 ComfyUI 工作流。
埃里克：有些人是的。但我觉得用 Modal 的人，倾向于是更底层的那类人——他们做的是复杂的东西。他们跟 Modal 的关系，一直是「很可折腾」的那种：部署自己定制的工作流，带 adapter、带自定义推理、带大量优化。而我们为了把开发者体验做好所做的一切，结果证明对跑生产负载也非常有用。因为自动扩缩容其实是个非常相似的问题：你要让容器非常快地扩起来、缩下去。所以我们恰好位置很好，早期就接住了大量这类负载。
巴兹尔：自动扩缩容的工具当时不存在吗？为什么这些要你自己造？
5 · 10:00 为推理与自动扩缩容而建
埃里克：总体上我的判断是，每一个新的技术时代都会撞上工具的局限。回头看，无论是 Web、云、移动、PC，还是 AI，都一样。所以情况常常是：工具是存在的，但往往不够好，你需要重新想一遍很多工具，才能吃到新时代的好处，才能真正加速、真正为这个新世界去构建。云时代你看到过这个：我们不得不发明 Kubernetes、Docker 这类东西。
埃里克：生成式 AI 也是类似的：你可以在上一代工具上把这些东西搭出来，可以在 Kubernetes 和 Docker 之上搭，但那些技术是为一种非常不同的负载造的——为非常稳定的后端负载，请求量平稳，跑的利用率相当低，因为 CPU 通常很便宜，大家不太担心成本。而我们现在进入的新世界，是你要管理非常昂贵的 GPU、要在意容量和利用率；是有非常大的模型，需要通过网络上载到 CPU、再上到 GPU。结果就是，很多这类工具根本不是为这些造的。所以我们觉得很多东西必须重做：我们做了自己的文件系统，还在过去几年花了大量时间做 CPU 快照、GPU 快照这些东西，也做了自己的自动扩缩器、调度器，以及各种容量管理工具。我们确实觉得必须这样做，因为你没法在这一代老东西上面加个包装就去做新一代软件，你得某种程度上从零重来。
巴兹尔：那在扩缩容方面，你们在平台上看到过什么奇怪的行为吗？有没有在扩的过程中崩掉过什么？
埃里克：容量时不时一直是挑战。你怎么拿到几百、几千、上万张 GPU？这始终很难。我们很早就必须做多区域，回头看那是个很关键的决定：咬牙把它做出来。我们一直把容量管理想成一个大池子，一个覆盖全世界的池子，而不是每个区域各跑各的集群。很早就那样想，是我们做过的最有后果的决定之一。
埃里克：所以有没有什么具体的问题，我说不好。我们当然有过 bug、有过故障，我多希望 Modal 能做到百分之百可用，最近我们基本做到了四到五个 9，但在 Modal 的历史上，当然有些时候会撞上扩缩容问题。
巴兹尔：那 GPU 市场——其实在这之前先问一下，你们底层是用 AWS、GCP 这些云厂商吗？
6 · 13:21 Modal 的容量从哪来
巴兹尔：你们自己也买基础设施吗？
埃里克：不买。可以聊聊云上的容量，我觉得这块变化很大。最初几年，我们几乎全部容量都来自超大规模云厂商的 spot 和按需实例，主要是 spot，在各个区域跑。一开始用 AWS，也用 GCP，后来用 Azure。我们很早就从甲骨文租了一些容量，因为想要 A100 和 H100，而且拿到了很好的价格。随着时间推移又加了几家云，也做预留。但一直到去年年底，我们大部分容量要么是 spot，要么是一年期预留。
巴兹尔：spot 就是当场租？
埃里克：对，而且它是可被抢占的，这个我们必须处理。但它在总体上确实可行，因为你可以从几百个区域把容量聚合起来。那套模式一直很好用，直到我们又开始撞墙。首先，Modal 长得非常快，需要的容量越来越多；但根本上，云市场本身也开始大幅变化。所以过去一年，为了拿到需要的容量，我们不得不跟多得多的云合作——现在大概跟 25 家云在合作。而且很多时候为了拿到想要的容量，我们得签三年以上的合同，并且预付一笔不小的钱。
巴兹尔：而且是锁定三年的价格，对吧？
埃里克：对。所以过去六到九个月，我们基本在重新想「怎么拿容量」这件事。我们得建一整个采购台，现在有四个人全职做这个，全部工作就是采购容量、给 neocloud 打电话、谈交易、审容量。我们还建了一整个工程团队，大概十个人，专门管全世界各地的裸金属容量，处理网络问题、坏硬盘、GPU 从总线上掉下来这些事。我们不持有容量，到目前为止全部是租的，通常是三年期的合同。这是个很大的决定：要不要买，还是继续租。
埃里克：我其实在这件事上并不教条。租有个好处，是资本效率高一些。如果是买，首先有运营上的复杂度：你要跟供应商打交道，要处理电力、线缆这些事。但还有财务上的复杂度：钱从哪来？你可以融股权，融十亿美元去买硬件，但那非常稀释。你也可以发债，但发债通常要求你有锁定的长期收入去付利息，这也不轻松。所以我们会看经济性，看运营上的……
7 · 15:39 租还是自己买
埃里克：……复杂度，看其中的风险。这是个很复杂的权衡，我们对买是开放的。还有别的结构可以做。为了拿到 2027 年需要的容量，我们得在很多不同路线上做大量工作才能锁住它。
巴兹尔：你们是不是要招很多财务的人来做这些？
埃里克：我确实在这件事上花了很多时间，我们也必须花很多时间。而且我觉得，随着时间推移——这些是非常昂贵的资产，硬件。这个数字有点惊人：你开始看到 AI 投资变成美国 GDP 的几个百分点，你也开始看到美国利率在最近几周往上蹿。而且到这个阶段，你去看那些 neocloud，它们是非常非常精密的金融工程公司。所以对，我们会看这些，会把所有选项都看一遍，有可能我们自己也不得不做类似的事。
埃里克：但我不太想——我更愿意专注做一家非常精简的软件公司，做我们擅长的事。总体我不认为软件公司应该持有重资产。就像你会不会买下自己的办公楼？我不认为那对多数公司是对的解法。当然，为了拿到想要的容量，一切都摆在桌上。
巴兹尔：我猜供给会紧一阵子，所以多少得这么做。你同意吗？还是觉得这只是个阶段性现象？
埃里克：我不完全同意。英伟达现在一个月交付几十万块 Blackwell，对吧？我不想说市场是百分之百有效的，但总体上，只要你愿意付高价，你就能拿到 GPU 容量——只要你愿意比别人付得多。当然，Anthropic 和 OpenAI 在尽量多买。但根本上，市场不断有新供给进来，所以我不觉得这是被完全垄断的资源。
埃里克：价格确实在涨，这一点值得想一想。硬件的常态是什么？是不受地心引力影响、一路往下走的：硬件价格最终总是下降。我们现在处于一个有点奇怪的时期，硬件价格在涨。这能持续多久很难说，可能还有六个月，也可能还有三十六个月，真的很难知道。但我不确定「你必须买容量」这个说法是真的——这在我看来有点像疫情那场抢厕纸，或者说挤兑。
埃里克：话虽如此，容量确实会紧一阵子，价格确实在涨。而且幸运的是，这对我们未必是坏事：如果价格涨，稀缺也意味着我们可以向客户收更多；而且我们锁了很多预留，某种意义上我们其实已经「做多」了 GPU 价格。所以我不太担心价格涨，我反而更担心价格崩。我不觉得那会很快发生，但那对市场上很多玩家会是相当糟的事。
巴兹尔：为什么会糟？
埃里克：对任何锁了大量供给的人来说都会糟，因为他们付得太多了——存在买在顶部的风险。再说一遍，我不太担心这个，不觉得会很快发生。但就像我说的，硬件价格在很长的周期里是往下走的，所以这一点值得想。
巴兹尔：对。现在的情况是容量受约束，用经济学的说法，这里存在一笔「稀缺租」。谁拿到了这笔稀缺租？我觉得主要去两个地方：主要是英伟达，但某种程度上也去了 neocloud；总体上任何持有容量的人，经济性都更好。这在容量受约束的今天无可否认。但长期看，我不觉得这一点会永远完全成立。持有 GPU 总还是能拿到一点溢价，但那值不值得冒这个风险——冒着持有这些非常昂贵的……
8 · 19:45 GPU 价格下跌的风险
埃里克：……资产放在资产负债表上值不值得，我不太确定。但这会花几年才走过去。长期看，我们可能会持有一部分、租一部分，也许是组合，也许做些别的疯狂的事，合资、谁知道呢，也许做些复杂的购电协议之类。一切都摆在桌上。
巴兹尔：你怎么跟 OpenAI、Anthropic 抢 GPU？我猜他们想把手上的东西全买光。
埃里克：他们确实在这么做。我觉得你看到的很多涨价，某种意义上就是这件事的反映。话虽如此，英伟达在大量出货。而且我想英伟达某种程度上也希望分散一点：他们不想要少数几个大买家，就像你看到超大规模云厂商的配货也被收紧了一点。我觉得英伟达更愿意看到很多 neocloud 和替代云拿到更多配货。
埃里克：另外，这一点更多是我的猜测：市场上那些规模更小、合作起来风险更高一点的云，反而给了我们机会。因为 Anthropic、OpenAI 那种我感觉他们更愿意从成熟的大供应商买，一部分原因也是他们要跑大量训练，需要非常大的整块。但外面容量多得是——你可以在亚美尼亚拿到 32 个节点，在印度尼西亚拿到 128 个节点。我们就喜欢这种活。所以我们可以出去，在世界各地把很多小块的容量拼起来，价格还相当好。
巴兹尔：所以你基本就是，只要有人能给你一定数量的 GPU，你只在乎这个？你不关心它有多可靠、是不是谁家一个破仓库里堆着？
埃里克：有时候确实是个破仓库。但我们是有规格表的：跟供应商谈的第一件事就是把规格表发过去，说我们需要这么多 IOPS，CPU 至少得到这个分数（PassMark 之类的），南北向带宽、出入口带宽至少要到多少。所以我们有一张要求清单。我们也常常做验收测试期，先拿一个节点跑一段时间测。某种程度上这还是一场信任的跳跃：有时候我们签很大的承诺，几千万甚至上亿美元，然后开始跟一个我们还不完全了解的供应商合作，只能随时间看。
埃里克：有点像 SemiAnalysis 有 ClusterMAX 一样，我觉得我们内部几乎有一套自己的「Modal MAX」评分。我知道自己更喜欢哪些供应商，也更愿意跟那些我们见过非常可靠的供应商继续做交易。而且不只是可靠性，还包括：出支持问题的时候他们回不回得快，我们要他们改的东西多久能改，出故障多久能修。
巴兹尔：你同意「对智能的需求基本上是无限的」这个说法吗？如果是，你为什么不尽可能多买容量？买多了大不了转卖给别人。
埃里克：在一种资源稀缺的时候，「那就尽量多买」这话说起来很容易。但首先，如果我们今天买了，我们也没法把它全用起来——能用掉很大一部分，但不是全部。
巴兹尔：但你可以卖给需要用它的人。
埃里克：难点在于，如果市场上发生了某种事情，很多相关性会同时出现：价格在跌、利用率在跌、转卖容量的市场同时消失。我坐在这里，每天非常激进地买容量、非常激进地融资去买，所以总体上我是非常看多的。但我想指出，这里是有尾部风险的；尾部风险发生的时候，可能会非常糟。
埃里克：一部分原因也许是，我老了，我见过这些东西。我第一份工作是 1999 年，所以我见过互联网泡沫，也见过金融危机。我想建的是一家能存在二十……
9 · 24:18 AI 的需求是无限的吗
埃里克：……三十年、四十年、五十年的公司。所以我们当然可以现在出去买下疯狂多的容量，试图垄断市场。但你听说过亨特兄弟吗？交易史上的传奇故事，他们想垄断白银市场，结果惨败。所以垄断市场，总体上我觉得可能不是个好主意。但我们总体非常非常激进，在按一个激进的计划扩产，大体匹配我们需求的增长，也匹配我们明年年底想在收入规模上去到的位置。
巴兹尔：你们只买英伟达的东西，还是会考虑其他类型公司的算力？
埃里克：我们在看。替代加速器开始变得非常有意思了。讽刺的是，过去五年、甚至十年，我每年都在说「明年是非英伟达加速器之年」，然后我每次都错。但我确实觉得 2027 年可能是非英伟达加速器之年。所以看今年我会不会又错。
埃里克：它们在某些事情上开始拿到非常好的成绩。TPU 显然在谷歌内部被非常广泛地使用，看起来效果很好。训练方面我了解不多，感觉没怎么见到，但他们的团队非常强，我知道他们在做很多软件上的事。
10 · 26:12 英伟达之外的替代
埃里克：硬件在某种意义上是难的，软件相对容易。这让我觉得，如果我们把这些加速器的软件层修好，对它们的需求会很大。而且根本上，英伟达是个这么大的瓶颈，我们大概会看到更多替代加速器。话虽如此，管道更下游也有瓶颈——台积电、ASML，也许那才是这一切更深处的瓶颈。但长期看，垄断不总是能持续，市场有更多替代品是健康的。我有多爱英伟达就说清楚：他们显然是一家了不起的公司，产品了不起。但我确实预期市场会出现更多样性。
巴兹尔：那像 Cerebras、Groq 这些呢，你怎么看？
埃里克：我觉得挺让人兴奋的，你能看到它们在某些负载上做得非常好。还有一些很有意思的人在搞混合的、解耦的推理：prefill 跑在英伟达上，decode 跑在 Cerebras 上，类似这样。
巴兹尔：哦，这个我还没听说过。
埃里克：对，Groq 也是，因为这类东西里，有些是算力受限、有些是内存受限，所以你可以混搭。我觉得这挺让人兴奋的。实际部署起来会变得非常复杂，但我确实觉得这种更复杂的硬件组合有很多机会。
巴兹尔：你从这些 neocloud 身上学到什么了吗？比如 Nebius 之类的，他们的做法跟你们有什么不同？
11 · 28:25 neocloud 教会了什么
埃里克：neocloud 里很有意思的一点是：他们怎么能扩得那么快？我觉得最夸张的例子是 Nscale，从几乎不存在，到管道里有几千亿美元的项目，而自己手上的容量寥寥无几。neocloud 是怎么长这么快的？
埃里克：基本答案可能是显而易见的：他们先去找 Anthropic、OpenAI 这种大买家，说「你要不要买五年的芯片？签这份合同，我们给你一个好价格」。然后他们拿着这份合同去华尔街，说：看，我们有个大买家，承诺了价值 100 亿美元的芯片，我们现在只需要钱。然后他们去融资，再去找超微、戴尔或者英伟达拿硬件，装上机架，然后交付给客户。
埃里克：所以你有了一个非常漂亮的金融结构：你可以先把还没买的东西卖掉。这意味着你可以极快地扩张。这就是我们在这些 neocloud 身上看到的：他们扩展得非常好。
埃里克：Modal 因为一直更偏向 PLG（产品驱动增长），没有那种锁长期合同的能力，从财务角度要那么快扩张会更有挑战一些，虽然我认为长期我们也会走到同一个位置。但看这些 neocloud，尤其是 CoreWeave 和那些大的，我觉得非常迷人：他们非常非常懂怎么融资，怎么把 GPU 当作贷款的抵押物，这些都很在行。
巴兹尔：有个说法，我忘了是谁——某家金融公司，哦不对，好像是英伟达——说「我们要把 GPU 变成一种资产类别」。这只是因为他们需要融钱、在想办法从哪弄钱吗？这件事的意义在哪？
埃里克：有一堆创业公司在做这个。不知道你说的是不是这些：Silicon Data、Compute Exchange、Ornn，还有几家，基本都在试图做出价格指数和指数化产品、做衍生品交易这些。我觉得这挺有意思。算力作为一种资产类别，确实有一些挑战：它肯定不像别的资产类别那样同质。网络不同、位置不同、磁盘和 CPU 不同、可靠性不同，各种差异。
埃里克：话虽如此，石油你也可以这么说，而我们某种程度上把石油做成了相对商品化、可交易的资产。能不能做成，还要看。但我确实觉得，在我们现在这种 AI 数据中心和 GPU 部署的规模上，我们需要在风险对冲、风险分担这些事情上更聪明一点，以及……
12 · 30:26 GPU 作为一种资产类别
埃里克：……更多的保险之类的东西。所以我非常高兴有这么多人在认真想这件事。话虽如此，我不完全确定我们会不会看到 GPU 变成亨利枢纽（Henry Hub）、布伦特原油那种超级商品化、可交易的资产。
巴兹尔：我想把话题转到 Modal 的沙箱上。不过在之前先问：Modal 有哪些不同的产品？我猜主要产品显然是 GPU，然后是 Modal 的沙箱，还有别的吗？
埃里克：我们有两个大产品：第一是 Modal Functions，第二是 Modal Sandboxes。Functions 是 2021 年上线的，想法是「无服务器函数」：非常容易部署、非常容易扩容，容量全由我们管。结果证明它对推理非常好用，对管 GPU、跑这类东西也非常好用。
埃里克：但我们其实从来没有专门的推理产品、也没有字面意义上的 GPU 产品。我们从来没把 Modal 当成一个 neocloud，而且我觉得这里有被吸过去、变成 neocloud 的风险——就只是卖那种我认为是「矩形」的东西：这是三年期，给你这么多张 GPU。Modal 一直擅长的是：你部署一个东西，可以扩起来；你有这种周期性的、突发的负载，容量全由我们管。最妙的是，因为我们有成千上万个客户，
13 · 31:55 两个产品：函数与沙箱
埃里克：我们可以把这些容量聚合起来，得到非常平滑的负载、非常平滑的总需求，从而非常高效地管理它。所以 Functions 是核心，2021 年上线。就像我说的，2023 年开始看到产品市场契合。现在它大概占我们收入的三分之二，实际用途大部分是推理，但你也可以用它做各种别的事情。
埃里克：Sandboxes 是 2023 年上线的，其实跟 Functions 一样，也花了很久才看到产品市场契合。为什么做它？我们意识到，很多跟我们聊的人在用 LLM 输出代码。就是我和阿克沙特某天吃午饭的时候聊到：他们也许需要一个地方来跑这些代码。然后我们意识到，其实我们已经有大量基础设施可以直接拿代码来跑——因为我们已经做了管容器、做隔离的那些原语，已经有 gVisor 这类隔离原语。所以我们对这个想法挺兴奋，阿克沙特写了一版原型，基本上一天还是两天就上线了。
埃里克：结果几乎是零增长。我不想把它说得太小——因为我们确实看到了一些增长，2023 年那会儿，有些人上手了，有些早期用户在特定场景上挺喜欢它。但总体上，到 2023 年夏天，它在收入上是个相当微不足道的来源。所以两年后，我们甚至讨论过：我们真的需要这个产品吗？要不要关掉？然后它突然就爆了。
埃里克：2023 年，我觉得真正发生的是：LLM 在生成代码上变得非常好了。大概就是那个时候，它们从「能重构函数、能写片段」，走到了「能生成完整的应用」。然后我们开始看到大量增长来自 vibecoding，比如 Lovable 这类公司；再后来 Ramp 这类公司开始用 Modal 做后台 agent；接着我们又看到一大批 neolab 在 Modal 沙箱上做强化学习，增长极其迅猛。所以沙箱现在大约占我们收入的三分之一。
埃里克：我们把它当作第二个产品。对我来说这非常让人兴奋，因为即使在 Modal 很早的时候，我就一直知道 Modal 是要做一整套产品工具箱的。我们一直想几乎像一朵云：有存储、有计算，还有很多种使用方式。我们一直想做一个多产品公司，但那在实践中直到现在才真正成立。我觉得现在这件事清楚了：我们有 Functions，有 Sandboxes，还在做一堆别的东西——训练、批处理，还有很多。所以对我来说，这种演化成多产品公司的过程非常棒，因为它一直是愿景的核心，即使最早的融资材料里我也放了好几页讲这个。只是对外界来说，直到最近它才变成真的。
巴兹尔：你们手上有没有在做的东西，你觉得会成为下一个这样的产品？或者对市场有什么预测？
埃里克：我非常看好训练。我觉得训练是个有点被忽视的市场。显然大家都很关注非常大规模的训练，但我们其实看到中小规模训练这一块有很多需求。这周晚些时候我会多讲一点——我们在办一个会议。
埃里克：批处理也是个非常有意思的市场。我们看到很多需求，比如前几天有个客户要转写五千年的音频，他们有数以百万计的音频文件，而我们有很多容量，就让他们跑，花了几天。我觉得这里有一些很有意思的用例。
埃里克：我也非常看好低延迟这一块。一旦我们把语音、把语音到语音的模型做好，也就是那些语音模型跑通，我预期那会是个非常有意思的市场。然后当然是所有 agent 的东西。我对「agent」这个词感受复杂，因为某种程度上我觉得所有软件都会变成 agent 式的——所以对我来说，「agent 式」到底意味着什么？我觉得所有软件在某种意义上都会随着时间变成 AI 驱动的。但很明显，确实存在一组做「更多 LLM 驱动软件」的积木，这组积木看起来在所有不同用例里都是共通的。
14 · 36:03 中小规模训练的机会
埃里克：我的看法是，我们做的是「造积木」的生意：给你了不起的、可泛化的、久经考验的、通用的、可组合的积木。我觉得 agent 的用例里也有一些很有意思的东西。
巴兹尔：你提到训练。我印象里一两年前你在别的播客上说过，你们并不专门聚焦训练。市场上什么变了？
埃里克：我们做训练产品已经好几年了，断断续续地做，所以不能说我们从来没聚焦过它。只是这类事：我们现在有 150 名工程师，但一两年前工程师少得多，因为人少，我们不得不更聚焦，于是推理成了我们唯一的重点，持续了很多年。现在我们更大了，有机会在别的市场也下注。
埃里克：我也很感兴趣的是继续把这个清单列下去：后训练、强化学习，这里面有很让人兴奋的东西。还有存储、数据仓库、特征存储、实时流式管道这些。我觉得 Modal 的长期图景是：你想做点酷的 AI 东西，我们全包——所有积木都在，帮你把这些积木组合起来。
埃里克：这就是软件的美妙之处：只要你有对的积木，你几乎能造任何东西。这非常是我们想建的公司和想做的产品。
巴兹尔：你说训练，是聚焦在更大的企业做超大训练那一端吗？
埃里克：不，不。那些会去跟超大规模云或者 neocloud 签巨型合同、拿十万张 GPU 之类的。但在我看来有一块市场有点被忽视：研究员在迭代、或者人们在训更小的模型——文本模型、语音模型。计算生物其实是我们看到大量需求的市场，我们有很多客户在那个领域训相对温和的模型。你可以在 64 张 GPU 上训，推荐系统、很多传统机器学习，很多东西并不需要十万张 GPU。
埃里克：那个最大的市场，我想我们短期内不会去聚焦。但那些稍小一点的市场里，有很多东西是相对被忽视的，而搭训练集群非常难。
巴兹尔：你有没有注意到，比如从 GLM 5.2 或者 Kimi 2.5 之后，很多人在用这些开源模型做微调？
埃里克：如果有变化，我看到的反而是另一个方向。我觉得几年前微调的价值主张是：开源模型没那么好，但如果你拿一个小模型在你自己的领域上微调，你在质量和成本上确实能摸到前沿。今天我会说，开源模型已经好到你可以直接换上去跑——不用前沿模型，你跑 Kimi K3、DeepSeek 4.1、GLM 5.3 都行，它们基本上几乎和前沿模型一样好，而成本低得多。
埃里克：所以我们仍然看到大量后训练的需求。我确实觉得那是个很有意思的空间，我们在这个空间里做了一些产品，既包括 SFT，也包括强化学习这些。我也会说，微调不再是你「必须」做的事，它非常可选——开源模型开箱即用就很好。
巴兹尔：回到沙箱。我忘了问你：你们提供的沙箱，相比已有的沙箱，必须补上什么？
埃里克：不多。我觉得我们一直非常非常擅长的是——我们是基础设施极客——我们非常擅长扩缩容、可靠性、做很多这类事情。这在很大程度上解释了为什么我们有，在我看来，这个市场里远远最大的份额。我手上没有数字，但我们就是非常擅长跑几十万甚至上百万个沙箱。我得说，为了扛住那个规模，我们的系统重写过好几次。
15 · 41:21 agent 沙箱正在怎么变
埃里克：但我们一直很擅长这个。随着时间推移还有别的东西。沙箱这个领域总体并不是差异化程度最高的领域，但我们在做一些很酷的东西。比如过去我们得加上对虚拟机的支持：沙箱产品原来建在 gVisor 上，现在我们也提供完整的虚拟机。事实证明，某些用例你就是需要完整的 Linux 兼容性。我们还做了别的：更交互式的原语、在沙箱之间来回传数据、和文件系统打交道。我们在快照上花了很多时间。
埃里克：我觉得长期看，能形成差异化的会是那些很酷的东西：fork 沙箱、快照、从快照恢复、在线迁移。总体上，沙箱的新颖之处一直是它的短暂性——你可以开一个只活几秒的沙箱。这是我想往深里拉的一条线。我觉得这里能做很多很酷的事：把 agent 和 harness 解耦、把 agent 和沙箱解耦，让一个 agent 控制很多沙箱，fork 沙箱、做快照，基本上就是跑非常短命的沙箱，也许一条命令一个。所以这里有很多很酷的东西。我们已经在快照上花了很多时间，但我觉得还有更多可以建。
巴兹尔：你几次提到快照。你觉得快照的用例是什么？它会给我们现在没有的什么？
埃里克：对我来说最大的一点是：今天很多沙箱负载其实是「搬迁式」的。大家想沙箱的方式几乎是——我有一个开发机，现在把它塞进云里，让一个 agent 控制它，也许把 harness 跑在沙箱里面。我不确定长期看这是不是思考「agent 的计算」的正确方式。
埃里克：我觉得更好的模型是：你会有这种非常长跑的 agent，在我看来它们几乎像持久化执行的工作流——它们 7×24 地跑，每隔一会儿跑几条命令。如果能在 100 毫秒里起一个沙箱、跑几条命令、然后关掉、做个快照，那么你把这个「醒来—睡去」的周期做得越快，你就能造出只活很短一段时间的沙箱，计算效率会高得多。
埃里克：它还会让你能做很酷的事：fork、把东西挪来挪去。想象 Claude Code 不再是线性的、顺序的流程，而是分叉的、同时跑几百个 agent。CI 也是另一个很好的例子：CI 历史上大部分时间，比如 GitHub Actions，是很顺序的流程——你慢慢装一堆东西，然后跑测试套件，然后生成报告之类。你可以切成 shard，但那很烦。我很想做的是：把整个测试套件拿来，让每一个测试都跑在自己的沙箱里，用一千个沙箱把它并行到极致。
巴兹尔：为什么做不到？
埃里克：问题是启动和停止沙箱的开销太大。所以你把启动停止做得越无摩擦，你就越能进入一个「可以极度突发、极大规模、想并行多少就并行多少」的世界。所以就像我说的，我是个基础设施极客，这些事让我非常兴奋。一旦我们把所有这些原语和正确的积木做出来，我觉得会解锁很多以前软件做不到的很酷的东西。
巴兹尔：为什么这个还没被建出来？我猜即使是以前，人们也想尽可能并行化自己的 CI。
埃里克：做不到，因为开销，就像阿姆达尔定律那样。现在并行化的开销非常高。比如你用 GitHub Actions，我们在 Modal 的测试套件里也做并行，但那基本上意味着：你把测试套件拆成两半，现在每一个 shard 都要自己重做全部的安装和测试准备，那要花很久，可能是好几分钟。但假设你可以只做一次测试准备，
埃里克：然后把容器快照下来，再克隆它，现在你就可以独立地跑各个测试套件。我觉得很多收益在你把摩擦、开销、交易成本降下来之前是兑现不了的。
巴兹尔：你们跟 Anthropic 有合作，他们在用沙箱做些什么，用 Modal 的沙箱。
埃里克：对，Anthropic 的 managed agents 里，那种「自带沙箱」的集成——你可以用 Modal 来做那些沙箱。
巴兹尔：这是怎么谈成的？
埃里克：我觉得 Anthropic 在试图建立一个繁荣的生态和社区。他们的钱来自推理，对吧？所以推广其他一切、把生态做得尽可能大，非常符合他们的利益，只要推理用的是 Anthropic。所以跟我们这样的沙箱供应商合作，对他们来说非常理性。
巴兹尔：我觉得我们得提一下 Hugging Face 那件事。你方便聊吗？
埃里克：可以，可以，那些都是公开的。
巴兹尔：能不能简短描述一下发生了什么？我记得他们用的是 Modal 的沙箱，但那不是你们的错，不是沙箱的漏洞。
埃里克：对，完全正确。那个利用的细节我记不全了，但我想你指的是 Modal 被卷进去了这件事。就这件事说一句：基本上那些跑在里面的 agent……
16 · 46:48 Anthropic 与沙箱安全
埃里克：就是那些利用了 Hugging Face 的 agent，它们在部署于 Modal 的一个应用里发现了一个漏洞，然后拿那个漏洞当成跳板去拿到访问权限、拿到完整的互联网访问，据我理解是这样。细节我记不全了。要说清楚：那是一个跑在 Modal 上的应用被黑了，不是 Modal 被黑了。
埃里克：就像 AWS——很多人在 AWS 上跑东西，偶尔那些应用会被黑。那意味着 AWS 被黑了吗？当然不是。所以有很多人在 Modal 上跑应用，其中一个应用被黑了。但我觉得这里有一些我们能学的教训。
埃里克：我们一直在反思的一件事是：我们能不能默认就有更合理的安全限制？拿 AWS 作类比，S3 以前很容易一不小心就把一个 bucket 设成公开，AWS 意识到这虽然不必然对 AWS 本身造成安全问题，但很多客户会不小心泄露数据。所以现在要把 S3 bucket 设成公开难多了。类似地，我们在探索：能不能在不破坏 Modal 那个「魔法」的前提下，让默认的安全限制更严一些。
埃里克：还有一个算是岔开的话题：agent 在网络安全上变得非常强。所以作为这次事件的一种学习，
17 · 49:29 用 agent 来测安全
埃里克：我们开始在内部大量用 agent 去找漏洞。到目前还没找到什么，但它们非常擅长探进系统很深的部分、尝试利用、尝试提权、尝试从沙箱里逃出去。这是我们目前非常积极在探索的东西。
巴兹尔：你具体怎么让 agent 去跑代码库？就是跟它说「去找安全漏洞」？
埃里克：不是。你就把它放进沙箱，跟它说：你能不能试着逃出这个沙箱？就像密室逃脱，只不过是给 agent 玩的。
巴兹尔：酷。你们什么时候开始做这个的？
埃里克：几个月前开始的，挺让人兴奋。大概是 Fable 出来的时候，差不多同一时间。
埃里克：我对网络安全的看法是：我确实认为它们非常擅长找漏洞，但也可以非常好地用来防守。我觉得 Modal 和现在很多公司都在想同一件事：怎么用 agent 来做防守，把我们自己的漏洞都修掉。所以随着时间推移，某种程度上我并不那么紧张。如果有的话，我觉得 agent 和网络安全上的所有突破会让世界更安全。
巴兹尔：你觉得那些大网络安全公司是不是就完蛋了？
埃里克：我不知道那是不是真的，因为这超出我的核心专长很远。但我想到网络安全时，你卖的很多东西其实是恐惧，那几乎是一种品牌和营销策略，当然核心产品也在。而我觉得在 AI 时代，品牌这类东西的价值反而可能更高。所以我不会一下子跳到「他们完蛋了」这个结论。他们跟企业客户有很深的关系，有庞大的销售团队，非常擅长讲吓人的故事，我觉得他们会继续很擅长这个。
巴兹尔：我这么问是因为，你自己就在做这件事，你不会去找 Palo Alto Networks 之类的。不过我猜只有巨型企业才在乎那个。而且出了问题他们可以怪别人。
埃里克：确实。很多情况下你就是想找一个成熟供应商，好把责任推给他们。某种程度上，这确实降低了我们需要请人类渗透测试师的必要——大多数创业公司会定期做。以前我们大概每六个月做一次，现在也许一年只需要做一次，我说不好。
埃里克：但所有这些事，人类也可以用它们变得更高效。我也有点相信「人类加上 AI 现在更强」。所以也许有种说法是：我们可以请那些非常擅长用 agent 的渗透测试师，找漏洞找得更快。我不知道。我是个乐天派——我创了一家公司，所以我对一切总体是乐观的。但我当然不认为人类完蛋了、公司完蛋了。我觉得在 AI 时代，很多公司会想明白怎么用 AI 变得更高效。
巴兹尔：我想稍微转到开发者体验。早期、甚至现在，你们都很重视这块，你也讲过很多。开发者体验现在还重要吗？
埃里克：我觉得还是重要。我想你说的语境是：现在有 agent 了，文档已经在那里，agent 会去看文档这些东西。但就这一点，我们在实践中看到的是：几乎所有让开发者体验变好的东西，同时也让 agent 体验变好——比如有好的文档、有描述清楚的错误信息、有快的反馈回路。
埃里克：我确实觉得有些事变了。前几天我在用 Cloudflare 配东西，我一直觉得 Cloudflare 有时候用起来出了名的烦人。我扔了个 agent 上去，它就能帮我配好一堆东西、替我干活。所以我会说，agent 确实让那些以前难用的东西稍微好用了——跟 YAML 打交道这种人力成本可以说下降了一点，因为你可以直接……
18 · 52:51 agent 时代的开发者体验
埃里克：……告诉你的 agent 去处理它。但总体而言，我觉得让开发者体验变好的东西，也让 agent 体验变好。另外我觉得基础设施随着时间推移本来也应该更「可编程」：以前你要用 YAML 配的东西，现在就应该是一个 SDK，应该更像命令式的——起一个沙箱、对它做事、把沙箱拆掉，而不是用某种 DSL 做声明式。这也推出了一种以前可能不存在的不同接口。不管怎样，SDK 和以前一样重要，甚至更重要。
巴兹尔：因为现在大多数人就是在上面跑 agent，你们在产品上改了什么吗？
埃里克：改了。我们内部也跑很多测试，让 agent 去建一个移动应用然后跑起来。一个很具体、也有点好笑的发现是：因为 agent 的训练数据，现在「弃用」东西非常难。我们看到 agent 特别喜欢用旧版本的 Modal 语法，而且很难把它们推离那些写法。所以过去一年左右，在怎么弃用、怎么移除功能上，我们不得不更保守，必须非常小心地把线上每一个例子都更新掉。
埃里克：还有 skills 这些东西。但同时也有一大堆 Modal 的代码现在就在网上，进入了训练数据。这算是个挺有意思的例子。另外，类似搜索引擎优化，现在还有「agent 引擎优化」，随大家怎么叫——agent 优化。我们经常跑内部基准：问一个 agent「你能帮我们部署一个 Stable Diffusion 吗，用什么工具都行」，然后看它推不推荐 Modal。这对我们长期追踪很有用。或者问「起一些沙箱」，或者「把所有的沙箱供应商排个序」。我们花很多时间做这些，确保……
巴兹尔：那你们怎么应对？你说，让它建一个 Stable Diffusion，看它推不推荐 Modal，然后呢？
埃里克：我觉得那更难。这有点像搜索引擎优化，主要靠内容——你就是得发布很多内容。某种程度上你也能看到「认知」：你可以问一个 agent「按可靠性把所有沙箱供应商排个序」，或者「按价格排」，能看到结果。而且感觉 agent 更容易误解定价这类东西。所以我们也花很多时间把内容写得更清楚、对 agent 更好懂，因为我们知道它们都在索引外面一切谈论 Modal 的东西。
巴兹尔：你有没有想过，干脆造一堆 GitHub 仓库，让 agent 在里面写一大堆 Modal 代码？试过吗？
埃里克：灌垃圾大炮。我觉得真相是，那大概确实是可以做的。我猜今天的语言模型训练数据其实对「这是不是 AI 生成的」相当不敏感，你大概可以造出大量垃圾。我们想过，我不太喜欢这个主意。但理论上，就像早期的 SEO——某种程度上现在还是——自动生成的内容是个非常有效的策略。我觉得是可行的，你也能做那些事。
巴兹尔：我想转到 FDE 上。据说你们招 forward-deployed engineer。他们做什么？
埃里克：我们处在一个能构建以前构建不了的应用的新时代。我们看到很多公司需要一点帮助。我们两年前开始投 FDE，但真正大规模扩是今年：今年开始时我们有四个 FDE，现在大概有二十四个了，扩了很多。他们做的——不完全是 Palantir 那种模式，但他们做很多……
19 · 57:45 FDE 在做什么
埃里克：……坐下来跟客户一起训草稿模型、调参数，用 vLLM 和 SGLang。客户撞上问题时，他们常常跟客户一起想办法怎么绕过去。另一个我们大量用 FDE 的地方是主动出击：如果我们看到某些客户在 Modal 上过度配置，比如申请了太多 CPU 或太多内存，那很贵，我们会去抓这些，然后坐下来跟客户说：你现在在 Modal 上花了不少钱，其实我们可以帮你省。
埃里克：当然，还有正在谈的交易，我们会帮他们把代码从别的平台迁过来。我们从来没有想把公司做成服务很重的生意。FDE 的目标，A 是参与销售流程、帮忙关单；B 是服务客户、做一些客户支持。但我其实觉得最重要的是 C：把产品里的缺口桥接出来，之后再变成真正的功能。所以很大程度上，一个 FDE 做的任何事，我的问题永远是：长期看我们怎么把它做成产品，以至于不再需要为这件事配一个 FDE？
巴兹尔：你们招产品经理吗？
20 · 59:55 Modal 的产品管理
巴兹尔：产品经理？你们招吗？
埃里克：不招。
巴兹尔：你会说这些 FDE 有点像准产品经理吗？
埃里克：这是不太一样的职能。面向客户的那一侧，他们确实是；但更朝内的一侧，那是产品管理里另一块：Modal 接下来该投哪些积木。还有中间那一层：看着十到二十个客户，各自要的东西略有不同，去找共性模式，怎么把它变成产品。我们确实有人在做产品，而且是这样演化出来的：有些人原来是 DevRel 或者工程师，展现出很强的、非常战略性地思考「我们该造什么」的能力，然后变成产品经理。
埃里克：所以我其实不是反产品管理。我只是觉得过去很多公司太着急招产品经理了。这里有风险，我在很多产品上都能看出来：你能感觉到那里有一批急着做事的产品经理，想到一些花哨的小东西就发出去。在一家基础设施公司把产品管理做得真正好，是非常非常难的，因为它需要非常深的战略性思考：什么才是基础积木？我们一到两年后要站在哪里？
埃里克：因为真相是，做基础设施非常难。而且要确保我们最后不会攒出三十五个看起来差不多、但各自做的略有不同的功能。那种层次的思考非常稀缺。因为这一点，我们还没有激进地去搭产品管理团队。
巴兹尔：说得通。你觉得你们的团队在生成式 AI 之后怎么演化的？你在 Spotify 待过，有某种团队结构，现在有编码 agent 了，团队结构变了很多吗？
埃里克：有趣的是，是的，我觉得团队结构变了很多，但我不认为这是生成式 AI 驱动的。我特别观察到的一点是，出现了一种回归做 IC（个人贡献者）的摆动，我认为这对整个行业非常正面。回头看十年前、二十年前，所有人都想做管理，因为那是拿到更多钱、更多认可和威望的路。
埃里克：这个转变其实在生成式 AI 之前就开始了，但我确实觉得 AI 大大加速了它。我们在 Modal 跟所有人讲得很清楚：做经理还是做 IC，在威望上没有区别，大家都是技术团队成员，归根到底是看你的贡献。我们看到很多原来的经理回去做 IC，因为他们想回去写代码。也出现了从非技术经理的转向——
埃里克：包括我在内，我在 Modal 还写很多代码，阿克沙特也是，技术团队几乎所有人都是，很多不在技术团队的人也写代码。对我来说这是个近期的现象，但我不确定它一定是生成式 AI 造成的；我觉得生成式 AI 大大加速了它，因为写代码的成本更低了、更容易了。
巴兹尔：那如果有非技术的人提交代码，你怎么审？你们怎么做代码评审？
埃里克：我们做代码评审，但我们把它看作可选的。对我来说，大部分情况下代码评审很大程度上是……
21 · 1:03:29 可选代码评审与工程文化
埃里克：……在很多情况下，人们只是想逃避「把东西合进生产」的责任。如果你有那种文化，那在我看来就是个信号：你需要在 CI、CD 上投得多得多——尤其是 CI，也包括 CD、容器集成，因为那是部署。我们做代码评审，比如我写代码的时候，偶尔会问作者：这跟你想事情的方式一致吗？希望我没有从根本上改架构。但我们在内部也说清楚：代码评审是相当可选的。如果你只是改文档、只是做一些基础的东西，别等人来看——尤其在 AI 时代，为什么每一段代码都需要一个人看？不需要。但那要求你在内部对测试这些东西有非常好的管控。
埃里克：对。基础设施公司比一般创业公司需要多一个 9，对吧，就可用性而言。但这些是必须做的投资：你得造对故障非常有韧性的系统，处处要有速率限制，系统要解耦，要确保没有任何单点是故障源，测试覆盖要极好。agent 现在写测试写得非常好——几年前我还觉得这是 agent 缺的主要能力之一，现在它们写得相当好了。因为写好的测试需要你稍微跳出自己想干的事，甚至当一下魔鬼代言人。所以我觉得这些都有帮助。
巴兹尔：你们写代码用前沿模型，还是也试过开源的？
埃里克：什么都试。一开始很多是 Cursor，然后是 Claude 和 Codex，现在很多人用 Nightshift 这些开源的东西、或者其他技术栈。所以我没有很强的立场，我希望大家去试不同的东西：我们用前沿模型，也用开源模型。现在既然我们在给很多开源模型跑推理、规模很大，我也想在公司内部多做一点「吃自己的狗粮」。我觉得在做大量 agent 开发时用自家的某些内部端点也有帮助，所以我们在推一推这个。
巴兹尔：我大概一两年前读到你说，你不认为你们会有一块很大的本地部署（on-prem）生意。你改主意了吗？
埃里克：没有，我没改。对我来说，我是「云派」的绝对拥护者（原文此处转写含糊）。退一步说，2008、2009 年云刚出来的时候，我的第一反应是：这太疯了，我为什么要把我的代码放到别人的电脑上跑？这太离谱了。然后六个月后我就在用了。我花了六个月改主意，企业大概又花了十五到二十年。
埃里克：但你看看 Snowflake、AWS、Datadog 这些例子，云显然在赢，多租户系统显然在赢。对我来说，on-prem 看起来越来越像一种遗留的商业模式。而且我确实觉得 BYOC、VPC 对等这些东西，对我来说反映的是一种过时的安全模型：我们需要保护自己网络里的一切、把网络当作护城河。我觉得这已经不成立了——我们已经走到了更健壮的安全范式，比如零信任这些。所以对我来说，BYOC 这些东西看起来越来越……
埃里克：至少从安全角度看是过时的。从我们的角度，还有一点：我们对整个基础设施栈有完全的控制权，硬件全是我们租的、我们部署、我们管全部基础设施、我们部署并管理健康、观测全部指标和全部主机。这意味着我们可以迭代得非常快、做出更好的产品。相对于过去那些有企业版、必须部署在客户环境里的公司，这非常有价值：它们得认真想发布管理，得考虑客户环境。
埃里克：我们不在乎。如果我们想引入一个新数据库，我们就可以引入一个新数据库，因为我们控制它，不需要考虑客户能访问什么。所以对我来说多租户有太多好处。话虽如此，如果未来我们跟某个非常大的财富 500 强客户合作，他们要 BYOC，我们过去做过，我们会给一个报价——那个报价非常高，到目前为止没人答应。但谁知道呢，价格合适我还是会做。另外我觉得还有一件有意思的事：理论上 BYOC 也可能是拿到容量的一种方式，
22 · 1:05:56 云、本地部署与自带云
埃里克：……跟客户一起拿到容量。问题是：他们已经有容量了，怎么让他们跑 Modal？BYOC 可能是一个解法——控制面仍然留在我们的环境里。
埃里克：另一面是，我们甚至可能把别人的东西跑在那批容量上。所以理论上有些挺好玩的事可以做：把所有这些容量聚合成一个大池子。所以我们对这些想法挺兴奋。但总体上，on-prem 我不知道我们会不会做。但 BYOC、自带云，这个可能会。
巴兹尔：先说明一下 BYOC 是什么意思。假设你接下来要再融更多钱——你会把钱用在哪？
埃里克：就像我说的，在现在这个容量局面下，需要的钱、需要的现金流，很大一部分是容量、是预付款。所以对我来说那是今天现金最好的用途。我们在非常激进地扩容量。也许未来我们会走到别的部署模式，自持或者别的。但我认为里面永远会有一部分现金组件——某种首付、预付款。所以那是现在现金最大的用途。当然还有薪水、办公室这些，但在我们财务的整体盘子里，那基本是个四舍五入的误差。
巴兹尔：有意思。你觉得这会变吗？
埃里克：不会。我觉得这门生意的经营杠杆有点疯狂。我们有两百名员工，他们很贵，但 GPU……
23 · 1:09:25 容量、融资与增长
埃里克：GPU 贵得多。
巴兹尔：如果让你说现在你和公司最关注的三大件事是什么？
埃里克：容量和随之而来的财务复杂度。总体上就是：我们怎么看这个空间？怎么看定价和打包？怎么看「持有还是租」之间的张力？我们该往 neocloud 的方向走，还是该往反方向走、做对冲的位置？这可能是我思考最多的一件大事。
埃里克：思考第二多的大概是产品策略：下一个积木是什么？如果我们做更多 agent 的东西，我们需要什么——某些存储原语、计算原语？总体上，未来几年世界会醒来发现它需要什么？理想情况下，到那个时候我们已经有了。我们总体上相当擅长预判需求、提前把产品做出来——无服务器函数和沙箱都是这样。那下一个是什么？
埃里克：第三我想得很多的，是文化和公司建设这类。我们最近刚过两百人，长得极快，年底大概到两百五十人。长得快的时候，你有两百五十个人都在想「我怎么给 Modal 带来最大价值」，要确保他们有对的上下文、对的动机，每天来上班都兴奋，因为他们在造非常酷的东西；
埃里克：还要让他们知道 Modal 为什么成功、自己能做什么，把激励对齐，确保我们有一种非常正向的文化——人们有那种默许的信任去做很多事，同时也有担当，把最好的东西交付出来；如果没做到，也要承担责任。在现在这个规模上，这些对我来说是极其关键的。
埃里克：十人、二十人、三十人的时候，大家可以坐在一个房间里，很多东西是心照不宣的、你能感觉到。别人能读出我，能看出我有点烦，能看出我高兴。但现在我们两百五十人，大家不一定看得到；当然也有很多新人，跟 CEO 说话可能有点紧张。所以我怎么保持平易近人，怎么……还有邓巴数，我觉得它背后的故事比起事实更像编的，但它其实还是有点像真的：一百五到两百这个量级，打文化的地基非常重要。
巴兹尔：接下来一年你们打算招多少人？
埃里克：过去十二个月我们按年化算大概长了四倍。我觉得相对而言这是个不可持续的增速。我见过团队每年翻一倍，那不算特别难；但四倍的时候你会开始看到文化漂移，开始看到不同工作风格形成的孤岛。
24 · 1:13:07 团队怎么扩
埃里克：你会开始看到有人在做非常投机的东西——这是我在工程团队里一直警惕的。你去找一个工程师问「你在做什么」，结果他在做某种边缘的东西，那真的是他该花时间的事吗？所以长得非常快有这种代价，也有把人带起来的代价。
埃里克：所以我不知道。年底大概两百五十人；明年年底，我们会继续以大概两点五倍、三倍的速度长，所以很可能明年会到七百人左右。
巴兹尔：我猜大部分是工程师。
埃里克：大部分是工程师，我们也在大量补销售。
巴兹尔：什么样的工程师？
埃里克：主要是系统工程师。我们一直深入在 Linux、文件系统、可扩展系统、网络、云这些地方，所以那是我们招人的核心——在这些事上非常强的人。我们也在看更多……因为我们往栈上走了一点，在 LLM 推理这一层做了很多工作，所以现在要处理另一组问题：CUDA、GPU、MFU，也就是把每张 GPU 能拿到的 token 数打满这些。
埃里克：虽然我会说，那个领域里很多工作在我看来其实仍然是系统驱动的，因为 KV 缓存和路由本身就是很「系统」的问题。但确实，现在要多一点 GPU 性能这类东西。我们在开始建研究团队，我们对后训练、蒸馏、给客户或者给我们自己找更好的量化方法非常兴奋——两边都做。
埃里克：有点像 FDE：一开始我们会跟客户一起做很多优化他们模型的事，但随着时间推移，要想清楚怎么把它变成产品。某种意义上，如果每次客户要优化模型我们都得派人去做，那我们就失败了。长期它必须变成产品。所以无论是 FDE 还是研究团队，一开始都得跟客户做很多事，我们确实在做；但同时我们也在建很多内部工具、最终变成完全自助的产品。现在在后训练这块做很多，也在 GPU 性能这块做很多。所以很多很酷的东西。
巴兹尔：回到你刚才说的产品策略。你怎么想？接下来一到两年我们需要什么？
埃里克：这极其难说。如果我说我知道我们确切要造什么，我觉得我就是在自我欺骗。到目前为止我们看到的、以及我更一般层面相信的是：我们需要更好的积木。这是一个新的软件时代，我们在解锁一批几年前根本造不出来的新型应用。
埃里克：做所有这些生成式 AI 的东西、输出代码的 LLM，代码需要以隔离的方式跑起来——跟 GPU 打交道、跟 LLM 打交道，需要太多新的原语。到目前为止我们造了一些积木，解锁了过去几年世界看到的一批应用——当然不只是我们的。但我认为未来几年还会有多得多的酷东西。所以我提到……
25 · 1:17:28 他那些推文：短命沙箱
埃里克：……我说了一些：我非常看好训练，非常看好快速任务，非常看好 agent、低延迟这些方向里的一些东西。但归根到底，我们把自己看作一家基础设施店：我们不想造非常窄的东西，我们想造非常通用的积木，摆到客户面前，然后客户把这些积木组合起来，造出我们根本想不到的了不起的应用。
巴兹尔：我想过一遍你发的一些推文。这是最后一段了。
埃里克：好。
巴兹尔：你想深入哪一条都可以。
巴兹尔：「现在有很多长跑的持久沙箱。今天的感觉还是搬迁式的。我猜沙箱会从『把开发机搬进云』，演化成更短暂的东西：一条命令一个环境。而现在我在中间喊：所以你可以暂停、恢复、克隆。」
埃里克：对，我们聊了很多这个。
巴兹尔：我们聊过一点，对吧？
埃里克：我完全……我觉得今天 Modal 上沙箱的中位时长大概是八秒左右，这本身就挺不可思议的。
26 · 1:18:31 矩形 GPU 合同的问题
埃里克：想一下，这挺惊人。随着时间推移，我觉得它可能还会更短。我们也想支持长跑的沙箱——我觉得它们很棒，长跑沙箱有非常正当的用例。但我的愿景是：世界也需要我们搞清楚怎么把东西大规模并行化，把启动和停止沙箱的开销降下来。
巴兹尔：「如果我自己在跑一家创业公司、卷进这场资本军备竞赛（转写含糊），能协调一下、把军备竞赛的节奏放慢一点就好了。」
埃里克：无可奉告。
巴兹尔：「GPU 稀缺最大的坏处不是 GPU 难拿，而是几乎所有容量都以三年期、一个三年期的矩形来卖，而且从未来三到六个月才开始。这不是多数用户的需求形状。」
埃里克：我觉得这个我们也聊过一点。
巴兹尔：那再深入一点。
埃里克：我觉得 Modal 一直非常非常擅长的一件事，就是完全按需的容量：客户来找我们要 100 张 GPU，我们通常能立刻给，甚至不用跟销售说话。而现实中很多负载并不是那种扁平的、矩形的形状：它们在 24 小时周期里上下起伏，可能随时间增长，可能有某些突发期。对我来说，这是今天很多客户的难题。我确实认为这是这个行业一个真实的问题：拿到容量的主要方式就是买那些矩形块，这不好。
埃里克：我觉得世界需要——我很有偏见——这正是我认为 Modal 能扮演很大角色的地方，不管你叫它什么，一种「期限变换」：提供更灵活的容量。我们能做这件事，是因为我们能聚合成千上万个客户，需求就会变得非常平滑、非常聚合。这就是 Modal 价值主张的很大一部分。
巴兹尔：你会说这是个差异化优势吗？
埃里克：大规模的优势。事实上，如果把 Modal 的价值主张非常简化地拆开，就是两件事：一是开发者体验，能迭代、能造东西、不用想基础设施；另一件就是容量这一块。我想得越多，越觉得我们长期在做的是：我们在聚合全世界的计算容量，而且非常擅长把它切得非常细——因为我们做了围绕快速扩缩容的所有这些工作，围绕 GPU 快照、让它快得多的那些办法。这个模型在很大规模上运作得非常好，因为你可以聚合大量客户。
埃里克：每个月我都在说「沙箱收入下个月大概要见顶了」，但它每个月涨 30%。有点疯。我不理解：每个月我都想，好，沙箱长得很多了，但显然该到平台期了，然后它又长得更多。所以我也不知道。很多 VC 问我：你怎么知道沙箱会变大？真相是我不知道。我当然觉得它会比 2023 年那会儿大，但今天沙箱占我们收入三分之一这件事，太疯狂了。我们当然非常高兴，也有一个很大的团队在投沙箱。
埃里克：我不想把它说小——我们在 2023 年就看出沙箱今天的样子，这点该给自己记一功。但我觉得我大概永远不会赌它会有这么大的收入、这么大的市场需求。
巴兹尔：「推理服务商应该独立于模型厂商存在，这里有个有意思的结构性原因：最好的模型一直在变，而推理服务商可以在模型之间轻易重新分配资源，因为总需求相当平滑。」
埃里克：对。你想想所有中国实验室——未来希望还有更多美国实验室——每次有新实验室发布最新最好的开源模型，你就能看到对这些模型的需求大幅转移。
埃里克：所以挑战在于：如果这些实验室各自持有容量，他们上线新模型时需求会大涨，然后另一个实验室发布更好的模型，需求就下去。当然，他们在后台一直在做下一个版本，所以……
27 · 1:21:20 推理商与模型厂
埃里克：当然，这就是这套系统天生就能处理的。甚至不需要有人告诉我们去做，它自己就魔法般地那样做了。
巴兹尔：所以你认为 LLM 基本上是大宗商品？如果你同意，那你怎么看大实验室的生意会落在哪里？
埃里克：我不确定这个说法一定成立。泰勒·斯威夫特是大宗商品吗？她发一张大专辑、开一轮巡演，赚很多钱，然后有一段她去录音的低谷期——我不知道，这大概是最好的类比——然后她再发一张新专辑。她仍然有很大的品牌，有很多势能，能拿到很高的毛利。
埃里克：所以只要实验室能反复发布新模型，只要这些模型上的毛利足以摊销掉训练它们的成本，我认为它仍然可以是一门不错的生意。
巴兹尔：所以你不认为智能在趋于平缓？
埃里克：不这么认为。我觉得这还要看。今天的模型非常擅长那些可以用强化学习高效训练的东西。我们一开始在编程、写简单片段上看到这一点，随着时间它变得非常擅长写生产级代码、非常擅长数学、非常擅长网络安全——这些都是相当可验证的东西。我仍然觉得还要看的是：模型会不会在比如做饭，或者那些目标更弥散、反馈回路更长的事情上也很强。
28 · 1:23:25 模型下一步强在哪
埃里克：我的感觉是，在那些领域，人类大概会在很长时间里都相当强、相当有竞争力。但当然，AI 模型正在变得非常强，这一点所有人都同意。
巴兹尔：那很明显，模型在编程上越来越强，它们已经非常擅长编程了。你觉得还有哪些现在没那么大的应用，未来几年会变得巨大？对 LLM 来说。
埃里克：我不知道。但我觉得任何有「可验证的计算闭环」的东西——你提到了计算生物。计算生物不是严格意义上的可验证，但有些办法可以跑模拟：你可以用 LLM 输出预测，然后跑计算的方法去模拟分子动力学，得到某种反馈回路。
埃里克：材料科学大概也是另一个有这种小回路的领域：你可以合成某些材料、测量性质，把 agent 放进这个回路里去做事。我有物理背景，所以我对这个挺兴奋。
巴兹尔：所以是药、材料，还有什么？
埃里克：我一时想不出来，但我相信还有很多别的。
巴兹尔：好。我的问题就问完了。你有没有什么想聊但我没问到的？
埃里克：我很好，这样挺好，很好玩。
巴兹尔：太棒了，谢谢。
References
- 1
- 2
- 3
- 4Modal — Company
modal.com
Comments