1/8

Lin Qiao:Fireworks AI 把推理层变成主战场

20VC 对谈 Fireworks AI CEO Lin Qiao:为什么推理层、开源模型和专用智能会改写企业 AI 的成本与控制权。

20VC 对谈 Fireworks AI 联合创始人兼 CEO Lin Qiao:从开源模型、推理云和 token 成本,到「一个 AGI」与「数百万专用模型」之间的选择。本文以完整原始音频 ASR 为主证据,按节目顺序整理,并在文末附逐句中文翻译。

先看结论

这期访谈的主线,不是「哪家模型最终赢」。Lin Qiao 更关心模型能力如何进入企业的真实数据、工作流和责任链:训练决定能力上限,推理决定能力能否被低延迟、可控地交付;开源和开放权重让基础模型更容易替换,企业的专有上下文则推动专用智能成为新的差异化来源。
Fireworks 在官方公告中宣布完成 $1.505B Series D,估值 $17.5B,年化收入运行率超过 $1B,并称每天服务超过 40T tokens。1 CNBC 的独立报道将其定位为推理云公司,并报道团队规模约 200 人、公司称同等质量下的模型服务成本比闭源模型低 5 至 10 倍。2

嘉宾背景

Lin Qiao 目前是 Fireworks AI 的联合创始人兼 CEO。Index Ventures 的人物页提到,她曾在 Meta 领导 PyTorch 团队,早年在 IBM 和 LinkedIn 工作;她在中国长大,父亲是设计大型货船的机械工程师,她小时候会看蓝图、研究每个部件如何解决问题。3
这段背景与本期谈话的技术判断有直接关系:她把企业 AI 看成一个需要被设计、部署、维护的系统,而不是单次调用的聊天接口。Fireworks 的产品定位,是帮助企业把通用模型变成基于自有数据和工作流的专用智能,并在推理层规模化交付。1

按节目顺序整理

00:07 为什么在所有人追训练时,Fireworks 先押推理?

Lin Qiao 把智能看成数据的衍生物:公共互联网只是世界数据的一小部分,真正大量、不会被公开共享的数据,锁在企业、应用和业务流程里。Fireworks 的判断是,下一层智能前沿来自激活这些私有数据,而不是只把通用模型继续做大。训练决定能力上限,推理则决定模型能否以合适的速度、成本、精度和数据边界进入生产。4
她把 Fireworks 放在芯片和模型提供商之间,但又不把自己定义为单纯的推理供应商。公司的产品目标是帮助企业调优模型,再针对特定工作负载优化部署;她把每一次部署形容为「一件尺寸对应一个人」:质量、速度和成本都围绕具体工作负载优化。

00:13 开源模型会不会把 AI 基础设施变成商品?

访谈里的答案不是「开源一定赢」,而是开源和闭源都已经跨过了能解决大量问题的质量门槛。开源模型的独特价值在于控制权:企业可以拿到权重,按自己的方式修改、调优和部署;闭源前沿模型则需要承担模型提供商的模型获取和研发回收逻辑,并且只能通过 API 原样使用。
这会把竞争从「谁拥有唯一的基础能力」推向「谁能把模型调到适合自己的业务」。Fireworks 还强调,企业在生产规模上每减少 5% 成本都可能带来巨大金额,而过去已经看到 5 至 10 倍的成本差异。4 官方公告也将公司的定位写成:把通用模型转成专用智能,并在推理栈上规模化交付。1

00:19 企业是否应把敏感数据交给中国开源模型?

面对中国开源模型与国家安全的提问,Lin Qiao 的重点不是替某个来源背书,而是提醒企业:无论开源还是闭源,模型提供商都会把自己的判断、品味和设计原则带进训练过程,企业都应该围绕模型加上自己的护栏。
她认为,每家公司都有特殊的目标受众、业务原则和数据边界,任何通用模型都不可能天然与这些条件完全匹配。因此,企业需要掌握调优、部署和路由的控制权。她也认为开放生态不会只剩一个提供商,开放性会吸引很多参与者;如果美国的开放模型不足,短期会有影响,但人才和资源足以支持新的开放系统。4

00:25 模型进步会继续这么快,还是接近平台期?

她把模型进步分成两层。通用智力的提升更像阶跃函数,可能每年或每三个季度出现一次重大跃迁;例如模型开始显式进行更长的思考,就是一次能力跃迁。另一层是建立在基础模型之上的专用化,这部分更像一棵树不断长出分支和叶子,随着基础模型质量提升,专用化可以加速得更快。
因此,模型优势会继续变化,但企业的竞争不会只看基础模型的短期排名。编码、法律研究、客户支持和推荐系统等工作负载,会围绕自己的数据和评测指标形成专用版本。4

00:28 多模型世界会不会产生 $100B 的路由层?

多模型世界里的「前沿」不一定是一只更大的模型,也可能是适合某个业务的专属路由机制。复杂任务可以交给更强、更昂贵的闭源模型,较小的子任务可以交给更便宜的开源模型,再由系统根据业务设计做组合和调优。
Lin Qiao 认为,自动路由和自动调优最终可能合并成一个自我进化的系统:产品持续上线新功能、接收用户反馈,路由策略再根据真实流量变化。她承认企业未来可能自己构建这层,但现在仍存在把路由、调优和部署做成平台的创新空间。节目中提到的 $100B 是市场设问,不是已实现的收入规模。4

00:37 未来两年 token 使用量会增长多少?

Fireworks 当时每天处理超过 40T tokens,其中大多数来自定制模型,而不是开箱即用模型。Lin Qiao 认为,明年增长 20 倍到 100 倍都有可能,因为现在还处在 S 曲线爆发的早期。
她把今年的应用变化概括为从编码走向协作:法律、金融、客户支持、招聘、销售、营销、医疗健康和面向消费者的推荐系统,都会形成不同的专用协作场景。成本下降会让更多任务进入工作流,token 不再只是偶尔调用的资源,而会成为产品使用方式的一部分。4

00:43 token 成本会下降 10 倍,并释放 100 倍需求吗?

「成本下降 10 倍、使用量增长 100 倍」是 Lin Qiao 在节目中明确给出的三年判断,不是本期融资数据。她提醒,不能只比较单 token 价格,因为不同模型为同一任务输出的 token 数量不同,应该比较每项任务的 token 经济性。
她把效率拆成三层:先让模型用更少 token 完成同一任务;再通过模型定制让每个 token 更精准;最后优化 GPU、内存等底层基础设施。当前一到一年半仍可能受供应链限制,但她判断两到三年后成本会压缩,价格下降会反过来释放需求。4

00:49 Fireworks 最终是否必须自建数据中心?

Fireworks 明确表示不会进入应用层;是否向下建设数据中心,取决于时机。Lin Qiao 认为,数据中心并不是简单商品:从建设、电力、光纤、冷却,到零部件更换,都需要深度运营能力。硬件和模型的折旧周期也在变化,模型每周发布新版本,硬件一年可能出现多个 SKU,因此自建还是购买不能脱离工作负载成熟度来决定。
芯片更要等到工作负载稳定、业务不再频繁变化时才值得考虑,因为流片之后很难修改。早期创业公司更应该把平台创新交给专业伙伴,自己把精力放在产品和研究上;只有流量足够大、自建能带来明显成本优势时,才可能获得自建的经济理由。4

01:02 阻碍 AI 经济的真正瓶颈是什么?

她最后把瓶颈落在「系统」而不只是单颗芯片:今天还没有一套为 10 万亿参数模型设计的完整系统。未来需要从模型、定制化、服务平台一路协同设计到芯片层,把一组芯片作为整体系统来优化。
这也解释了她为什么把「拥有自己的智能」看成企业的必需品。就像每家公司都会构建自己的软件栈,但会选择哪些部分自己做、哪些部分使用通用能力一样,AI 时代的公司也会拥有自己的智能栈。她同时提醒,真正值得追踪的指标会从 token 最大化转向 ROI 最大化:当 AI 进入生产,企业要知道花了多少、得到什么回报、价值归因在哪里。4

值得记住的几句话

  • 「每家公司都必须拥有自己的智能」是 Fireworks Series D 公告的核心主张。1
  • 「如果你认为智能是数据的衍生物,那么绝大多数数据其实没有被用于训练通用智能模型。」这是 Lin Qiao 解释专用智能为什么存在时的核心论点。4
  • 「每一次模型部署都像一件尺寸对应一个人。」这是她解释 Fireworks 如何围绕具体工作负载优化质量、速度和成本时的中文直译。4
  • 「成本下降 10 倍会带来 100 倍使用量。」这是访谈中对 token 经济性的明确判断,前提是供应链和基础设施成本继续下降。4

对创业者和投资人的启发

  1. 评估 AI 基础设施时,不要只看训练能力。模型能否稳定运行、快速响应、控制成本、满足数据边界,决定了它能否进入生产。
  2. 开源模型的价值不只在于「免费」或「便宜」。它让企业拥有部署、微调、路由和替换的选择权,也把竞争推向服务质量与专用化能力。
  3. 当基础模型能力扩散,企业自有数据、业务流程和客户上下文会成为专用模型的训练与评估边界。模型供应商的任务,是把这些上下文安全、可控地变成可交付的智能。
  4. token 预算要和产品设计一起看。价格下降会扩大可调用任务的范围,调用量增长也会反过来改变基础设施、产品和商业模型。

逐句全文翻译

以下译文按完整 ASR 的原始顺序保留,不删减节目开场、广告口播或对话内容。ASR 未提供说话人分轨,以下标签仅在上下文可确认时使用。

开场冷开场

Lin Qiao:我不希望看到的情况是,只有一家公司拥有智能。我觉得那对我来说没有道理。我认为,去年是编码之年,而今年是协作之年。我确实认为,token 的成本会大幅下降。未来三年会下降 10 倍,而这 10 倍的成本下降会带来 100 倍的使用量。我们绝对不会进入应用层,这一点对我们来说非常清楚。至于我们是否会继续向下走,去建设数据中心之类的基础设施,那始终可以放在桌面上讨论。

主持人开场

Harry Stebbings:这里是 20VC,我是 Harry Stebbings。今天坐在访谈席上的,是一位我在一次 15 分钟的会面后就给她写下 1000 万美元支票的创始人,Lin Qiao,Fireworks 的创始人。这是我十年投资生涯里最容易做出的投资决定之一。
第一,团队是全世界最优秀的团队之一,而且他们已经一起工作很多年了。第二,推理市场。它的增长速度快得惊人,而且会成为全世界最大的市场之一。第三,增长势头。老实说,我会因为这个说法惹上麻烦。大家会说:「Harry,别说三倍,三倍、两倍、两倍已经过时了。」可事实就是如此。好吧,这就是令人难过的真相。当你能投资 Fireworks,而它在四年里已经把年化经常性收入做到 10 亿美元时,你就应该这么做。
第四,招聘能力。老实说,最优秀的创始人往往能把全世界最好的人招进来。Lin 刚刚招来了 George Hu,他曾经是 Salesforce 的总裁。第五,上行空间。这家公司能赚多少钱?你相信 AI 会改变我们的生活方式吗?你相信我们会生活在一个拥有许多横向模型和专用模型的世界里吗?如果相信,老实说,Fireworks 可能成为一家 5000 亿美元的公司。我不知道你怎么想,但这列火车已经驶离车站了。呜呜!

广告口播:JPMorgan

Harry Stebbings:不过,在我们进入今天的节目之前,创始人在每一个增长阶段都会面对不同的挑战。D-Matrix 的联合创始人兼 CEO Sid Shate 就是一个例子。JPMorgan 提供了指导和专业知识,帮助他应对接下来发生的事情。他认为,JPMorgan 的高接触式服务方式支持了 D-Matrix 的成长和国际扩张。
无论你还处于早期阶段,还是正在进入新市场,JPMorgan 都能凭借真正的信心帮助创业公司应对复杂性,提供个性化指导和深厚的行业专业知识。想了解 JPMorgan 如何帮助创始人,请访问 jpmorgan.com/grow-without-limits。JPMorgan 是创新经济的银行。

广告口播:Navan

Harry Stebbings:JPMorgan 为你的财务提供支持,而 Navan 让你的团队保持运转。你知道吗,预订一次商务旅行的行业平均时间是 45 分钟?这会大量浪费团队时间。使用 Navan 后,员工平均只需要 7 分钟就能订好行程。Navan 是一款由 AI 驱动的差旅与费用管理平台,为重视效率的公司而设计。
它通过较高的员工采用率和自动化政策控制,带来真实的业务影响。现在,内置 AI 会自动批准符合政策的预订,并自动拦截其余预订。这样一来,财务团队不用再追着员工要收据,也能跳过月末混乱;同时,你还可以获得实时可见性,最多节省 15% 的差旅预算。这就是为什么 Visa、Stripe、Figma,甚至 Anthropic 的管理者如今都依赖 Navan。
访问 navan.com/20VC 了解详情,你还有机会赢得两张前往美国大陆任意地点的商务舱机票。无需购买,具体规则以活动说明为准。现在就访问 navan.com/20VC。Navan 让你的团队保持运转,而 Base44 帮你更快地构建产品。

广告口播:Base44

Harry Stebbings:你有一个想法,但使用大多数 AI 工具时,你会撞上一堵墙:设置、配置,以及你脑中设想的东西和最终真正发布的东西之间的差距。Base44 会让这堵墙消失。你描述它,Base44 就把它做出来。应用、网站、AI agent、真正能工作的产品,只用自然语言,几分钟内就能构建完成,而且所有东西都已经配好。
后端、数据库、身份验证、托管,所有繁重的工作都已经处理好了。你只需要保持在流程中。这不仅替你拿走了杂务,也会给你带来优势,让你超越原本以为自己一个人能做出的东西。在这个市场里,快只是基线。想要赢,你只需要成为第一个。Base44 就是那种优势:跳过排错,直接抵达突破。访问 base44.com 构建你的下一个产品。就是 base44.com。你已经到达目的地。

正式访谈开始

Harry Stebbings:Lin,我对今天的访谈非常期待。我刚刚和你的联合创始人 Dima 通了电话,也和 Alfred、Lynn、Sonia、Matt Miller 以及很多其他人聊过。所以,谢谢你来参加节目。
Lin Qiao:谢谢你邀请我。
Harry Stebbings:我听说 Eric Vichria 有一条规则:不要投资大科技公司的高管。但他为了你打破了这条规则,这很特别。
Lin Qiao:对,我也是这么想的。事情很有意思。我们握手确定合作之后,他给我打电话,说他和一位顾问聊过。他的顾问问他:「你见过多少大科技公司的高管成功创办公司?」答案是:非常少。他把这件事告诉我时,我很惊讶,心想:「我们现在要反悔这次握手吗?」但没有。自那以后,我们一直非常密切地合作。Eric 是最优秀的人之一。
Harry Stebbings:你也是在 48 岁时创办公司的?
Lin Qiao:是的。
Harry Stebbings:这确实算晚。现在我们把 15 岁就开始创业当成荣耀,你如何看待自己作为一名 48 岁创始人的经历?
Lin Qiao:我没有深入想过这个问题。我一直想拥有一家自己的科技公司。2015 年时我确实想创业,因为我是第一代移民,2000 年来到美国。我读的是分布式系统计算机科学博士,尤其专注于数据库。数据库是一个很复杂的系统,需要在许多不同目标之间做优化。加入研究实验室之后,我几乎接触了数据处理的每一个方面。后来我去了 LinkedIn,把这些经验进一步用于构建能够产生真实影响的系统和产品。
那时我觉得自己已经准备好创业了。我懂所有技术,知道该做什么产品,也有一份商业计划,还有一份想一起创业的人名单。但我花时间思考之后停了下来,因为我觉得自己还不具备用人的能力来创建一家公司。创业不只是产品,也不只是技术,实际上是关于人的。我决定去一个能让我最大程度学习如何与人一起工作的地方。那时最好的公司是 Facebook,它是硅谷正在崛起的新星。我暗自计划在那里学习一年,然后离开,回去做自己的事业。我在那里待了七年。所以,关于 Fireworks,
Harry Stebbings:所以,关于 Fireworks,你看到的是推理领域里一个世界还没有关注到的机会。当时世界都在关注训练。我觉得,理解这层技术栈很有帮助:在你们下面,显然是芯片供应商,也就是 NVIDIA 这样的公司;在你们上面,是模型提供商;而你们坐在中间。为什么这一层有价值,而不是会变成一种商品?
Lin Qiao:这是个很好的问题。但为什么要费力去做专用智能?为什么不直接使用通用智能,少操心一些事情呢?你只要构建在前沿实验室提供的 API 之上,不是会容易得多吗?
我的论点是这样的:如果你认为智能是数据的衍生物,那么绝大多数数据其实没有被用于训练通用智能模型。训练数据来自公共互联网和标注数据。与全世界的数据相比,公共互联网的数据集非常小。世界上绝大多数数据其实是私有数据,被锁在应用里、锁在企业里。因为那是公司的专有知识产权,它永远不会与其他人共享。
如果你这样观察整个领域,就会发现一件很有意思的事:绝大多数数据都没有被激活,也没有被用来产生任何智能。我们相信,机会就在于激活这些数据;我们也相信,智能前沿的未来,实际上是私有智能,是我们的专用智能。从一开始,我们就一直专注于从这里驱动价值。
Harry Stebbings:我有很多问题想问你。我完全理解你所说的这些大型公司私有数据的价值。但 Anthropic 的企业业务难道不就是建立在这个前提上吗?他们的 Claude Cowork,以及正在构建的许多相邻产品,Dario 难道不会说这正是他们要做的事情吗?
Lin Qiao:这很有意思,因为在我看来,Anthropic 是一家完全相信 AGI 的公司。AGI 的定义是:存在一个模型,可以用最好的方式解决所有问题。对我来说,这就是 AGI 的定义。这意味着你不需要专用化。那一个模型应该能够解决所有问题,它足够聪明,拥有每个行业、每种工作的全部知识,能够完成所有工作。既然如此,为什么还要费力做专用化?
这本身就说明,我们生活的世界不是由单一原则统治的。我们生活在一个高度多元化的世界里。举一个例子:不同地区会有不同的价值体系、不同的政策、不同的商业方式和不同的生活方式。所有这些都是品味、选择和判断的结合。我认为,这些东西定义了人类。我们不是机器人。
如果我们的未来世界由一个标准统治,由一家公司规定品味,我们就会把自己变成一支机器人军队。对我来说,那非常令人沮丧。我认为,把智人与其他物种区分开的,是创造力,是追求新事物的深层欲望,是发现新生活方式的欲望,这些东西定义了我们作为人的存在。那一部分无法被复制。这是我的根本信念。
这也是为什么硅谷拥有如此多的创造力。全世界都拥有如此多构建新企业的创造力。我曾经在 Jensen 做完 GTC 主题演讲后和他进行过一次很有意思的谈话。我们实际上录下了它。我看过,效果很棒。
Harry Stebbings:和 Jensen 录音其实不太像录音。他只是开始和我聊天,我甚至不知道他的团队已经开始录了。我们就一直聊下去,你知道的,交流非常轻松。我们谈到专用智能。他对我说了一句话:「Lin,你说得对。不存在专用的通用公司。」也就是说,每家公司都是建立在某种独特的做事信念之上,否则它们就没有存在的理由。
这听起来很合乎逻辑,但后来我回想他的话,觉得那其实很深刻:每一家公司都在做某种独特的事情,这种独特性证明了它存在的合理性。这种独特性深深嵌在产品设计里,也深深嵌在软件设计和系统构建里;它还深深嵌在数据、与用户的互动、对用户意图的深刻理解、用户与产品的互动和参与方式等各个方面。所有这些,都是一家公司为什么应该存在的根本基础。坐在外部的另一家公司无法学习或共享这一切。
Harry Stebbings:作为一名播客主持人,我擅长问基础问题,所以请你原谅我。但为什么 Dario、Sam、Larry、Sergey 这些人,会以必然会到来的方式谈论 AGI?
Lin Qiao:我认为,他们构建的东西非常出色,因为他们实际上是在建造一条电力线,把非常强大的智能来源分配出去,让其他所有人都可以构建在它上面。这就是我看待他们贡献的方式。
如果没有这套基础设施,我们家里就不会有各种各样的电器。我喜欢我的咖啡机,它有自己的特殊品牌,对吧?但是,如果没有电力,我们就无法做那些有趣、独特、特别,并且能够编码我们品味的事情。所以我确实认为这非常重要。但问题是:这条电力线会取代我们所做的一切吗?我不这么认为。
对我这个投资人来说,问题是:电力线是不是好生意?
Harry Stebbings:你刚刚提到了 PyTorch、开放以及开放生态系统。过去三个月里,我们都意识到,开源的进步速度其实非常快,能力提升到了一个很难直接比较、但正在接近 90% 效率的程度;按照 Chamath 的说法,成本效益高出 15 倍。开源世界里,电力线是好生意吗?
Lin Qiao:我是这样看待开源的。公司成立早期,几位联合创始人之间曾经进行过非常深入的争论:我们要怎么办?是构建自己的模型,还是构建在开源模型之上?那时,开源模型还几乎处于早期阶段。如果我们选择这个方向,就相当于押下一个巨大的赌注,赌它最终会发展得很好。
但结合我们之前的经历,我们相信开放社区,也相信开放性。这是我们开展工作的根本原则。因为开放性把控制权交给用户。想想开源模型:模型一旦发布,你就完全控制它的权重。你可以按自己的方式修改它,它就是你的。然后你可以继续构建在它上面。
这是一种根本不同的运营原则,也是我们因为自身开源背景而信奉的原则。所以我们押下了这个赌注。它确实带来了回报,因为无论是开源模型还是闭源模型,质量都显著提升了,
Lin Qiao:过去两年里,开源和闭源这两条路线都得到了很大改进,已经达到了一条质量门槛,能够解决很多问题。
在 Fireworks 内部,显然也包括我们的 Dogfoot 产品,我们用开源模型来推动招聘流程、候选人搜寻和反馈收集。我们甚至用开源模型推动一些内部财务流程。对于编码,我们用开源模型帮助调试。Fireworks 内部也有大量 agent,而我们非常关注成本,这一点很重要。
两类模型都跨过了一条质量门槛,能够解决很多种类的问题。第二,开源模型跨过门槛之后,会更容易调优。能够引导一个模型,本身就是智能的一部分。模型智能的某些参数更容易被引导,尤其是当一家公司只有少量数据,或只有一小部分独特数据时。然后我们可以围绕你的评测指标不断做迭代攀升,最后往往能用你的数据解决你的独特问题,效果优于通用模型。
Harry Stebbings:当你说 90% 的企业工作流都可以完成时,企业现在用开源模型完成了如此多功能,那么前沿模型的使用量就不会像过去那样大,因为它不再需要负责一切。既然大部分工作都可以通过开源模型完成,这些公司是不是实际上被严重高估了?
Lin Qiao:我认为人们开始意识到这一点了。两年前,我曾经去不同地方,谈到一个 SaaS 时代不存在的有趣现象。在 SaaS 时代,产品市场匹配和持久的商业模式几乎是等价的。最难的事情是找到产品市场匹配;一旦找到,业务就会尽可能快地扩张。因为 CPU 是商品,你构建在上面的基础设施几乎也是商品,企业甚至不会把它当作自己的销货成本问题来担心。
现在,产品市场匹配和持久的商业模式是两个分开的概念。对于创业公司来说,我们有很多产品市场匹配很好的公司,客户愿意付钱,也很看重产品,但它们无法扩张,因为一旦扩张,就可能扩张到破产。你听说过「扩张到破产」吗?
所以这是一个真实的问题,而且对于在位企业来说问题更大。数字原生的大公司,因为拥有流量,拥有巨大的流量,是十年前还是创业公司时的赢家。一旦它们把 AI 功能推出去,就会触达所有客户,但它们承担不起这个成本。因为 CFO 看着成本方案和成本预测,会说:「这没有办法证明是合理的。」
于是,这就成为所有创新者的真实问题:我们非常想接入这项新技术、新的颠覆性技术,但我们承担不起。我们需要寻找一个可以负担的替代方案。这个替代方案就是掌握开放权重模型的控制权,推出自己的模型。
或者,你也可以看看 Sam Altman 过去几天发布的模型,成本大幅降低。我记不清具体数字了,但我觉得可能只有一半的价格,或者便宜三倍。
Harry Stebbings:下一步是不是会看到前沿模型的价格大幅下降?
Lin Qiao:有可能。但与此同时,这是一种非常不同的运营原则。对于开放权重模型来说,模型本身就在那里,模型获取基本没有成本。当然,有一些公司训练了这些模型,并愿意把它们开放出来。我知道在美国有多家公司正在这样做,包括正在训练 Nemotron 的 NVIDIA。我们显然和他们保持着非常密切的合作。
所以,模型一旦在那里,使用这些模型的人实际上没有模型获取成本。但前沿实验室在这些模型上投入并收回研发成本,这里面存在根本性成本。第二,你无法定制那些通用模型,只能通过 API 原样使用,没有控制权;而使用开源模型,你拥有完全控制权,可以按照自己的方式调优,也可以按照自己的方式使用。
尤其是 Fireworks,我们是一家专用智能平台。我们提供各种工具,让你可以轻松地针对一个具体用例定制模型。模型经过高质量调优之后,我们还会进一步为推理部署做优化。
你可以这样理解 Fireworks:我们把每一次模型部署都看成「一件尺寸对应一个人」。它只针对你的工作负载,针对你的工作负载优化质量、速度和成本。所以我们认为这绝对有必要。因为一旦你考虑生产规模,触达数百万用户、数千万用户,甚至数十亿用户,那么即使 5% 的成本下降也意味着很多,意味着巨大的金额,更不用说我们过去看到的 5 到 10 倍成本下降。
Harry Stebbings:我确实想问一个企业很担心的问题,那就是国家安全。当你看 OpenRouter 时,我觉得今天排名前六的模型都是中国模型。它们的质量令人难以置信,发展速度也令人难以置信。但它们是中国模型。分析中国开源模型的力量时,我们是否有严重的国家安全担忧?
Lin Qiao:现在整个行业正在进行一场非常大的辩论。模型一旦开源,你就可以在它周围加入各种针对业务的护栏。我想说的是,对所有模型都应该这么做,无论开源还是闭源,你都应该围绕模型放置自己的护栏。
根本原因是:模型提供商会把自己的判断、自己的品味注入模型训练过程。你不能保证它和你的判断、你的品味相匹配。记住,这又回到了 Jensen 的评论:不存在专用的通用公司。每家公司都是独特的,每家公司都会有自己的设计原则、自己的品味和自己的目标受众。正因为如此,一家公司提供的判断、品味和设计原则,必然会与你的公司不匹配,因为你的公司要解决的是一个特殊问题。
这就是为什么你需要调优模型,让它与你的公司匹配。我确实相信,未来不会是少数几个 AGI 模型统治世界。我的真实判断是,未来可能有点吓人,但我认为它会是数百万个专用模型,每一个应用、每一个用例各有一个模型。
我们上周其实看到报道,说中国正在考虑限制对其开源模型的访问,因为他们看到这些模型的发展速度太快、效果太好。你会如何看待这个问题?
Harry Stebbings:如果美国本身缺少足够的开源模型,未来中国真的开始限制其开放模型的访问,会发生什么?
Lin Qiao:短期内会有很大影响。但开放生态系统的美妙之处在于,它不是由一个提供商组成的,这就是它开放的原因。它通常会吸引许许多多有兴趣的参与者。我相信,就人才密度和资源而言,美国能够自己建立起那套开放系统,而且我们应该这么做。我在很多开放系统里都看到过这样的事情:百花齐放,这正是开放系统的美妙之处。
Harry Stebbings:说到企业内部的专用智能,就拿一个非常典型的例子来说吧。我其实不太想举这个例子,因为我是 Legora 的投资人,而且我觉得我知道你会站在哪一边。法律领域有两家竞争公司,Harvey 和 Legora。Harvey 已经决定构建自己的模型,而 Legora 没有。一年前,不构建自有模型的公司看起来是对的,因为前沿模型的能力提升速度太快了。现在看起来,它们反而错了。像 Harvey 和 Legora 这样的公司应该构建自己的模型吗?如果不构建,会发生什么?
Lin Qiao:我有一个观察:软件开发,尤其是 SaaS 领域,已经因为编码通用智能而被显著颠覆。应用开发生命周期在时间线和所需资源上都大幅缩短。过去,从想法到实现再到生产规模,需要几十名非常强的产品工程师和产品经理,以及多个季度、数年的投入。这是一条很深的护城河。
今天,一个人用几周时间,就可能把自己的想法发布成产品,并快速扩张。这是前所未有的,也创造了有趣的动态,重新定义了竞争所在。仅仅围绕应用创意本身竞争很难,因为很多人会有类似的想法。现在,实现本身不再是那么大的障碍。
Harry Stebbings:但当你看企业部署、企业推广,而且这些公司服务的是全世界最大的律师事务所时,这真的成立吗?企业销售周期至少要几年,需要建立非常困难的关系。然后部署又高度定制化,不像 11 Labs 那样拿起来就能用,而是完全不同。
Lin Qiao:而且我认为,法律领域尤其具有挑战性,因为律师通常更保守。法律也完全不能容忍错误,对吧?
Harry Stebbings:因为这就是律师获得报酬的原因,对吧?你需要一个非常坚不可摧的案件。如果系统产生幻觉,给出错误判断,你就会陷入麻烦。
Lin Qiao:所以我确实认为,法律是一个非常有意思、很难进入的领域,而这些公司都做得很好。但另一方面,我认为两家公司都拥有专有知识和信息,知道如何构建助手来做案例研究,如何深入推动法律研究等等。
我对法律的理解很浅,但案件有许多不同的版本和风格。所以我确实认为,它们处于一个独特的位置,可以把这种深层理解转化为产品,而且它们都有数据。这不只是商业防御性的问题。很多时候,当它们构建这些助手时,还需要有一个工具编排层,去集成并决定应该使用哪一个 AI 工具、调用哪一个工具。这个部分是定制的,是专门设计的。调用这些工具的准确性,以及应该调用什么类型的工具,都很重要。甚至这个编排层也需要和驱动它的模型一起训练。
这有很多例子可以说明:在工作流层拥有如何使用智能的能力,能够把业务推进到卓越水平。
Harry Stebbings:所以也许是时机问题。以编码为例,我认为 Cursor 可能是最早开始调优自己模型的先驱之一。现在,几乎所有编码公司都会调优自己的模型。模型开发的速度会放缓吗?因为我们似乎每天都有一个具备新能力的新模型:天啊,Cursor 的最新模型太棒了;接着 Mistral 的最新模型又很棒;Gemini 的最新模型也很棒。三年后,模型开发速度还会这么快吗?模型优势还会如此短暂吗?今天是一家领先,明天又换成另一家?
Lin Qiao:模型进步有几个层次。首先是基础的、通用智力的提升。这些提升会以阶跃函数的方式出现,所以每次发布都会有大版本或小版本。大版本就是阶跃函数。
你还记得去年年初吗?当时大家都在谈论思考过程。思考过程是新的:模型不再立即吐出答案,而是会自己进行思考,再给出答案。这样好得多。这就是一次阶跃式提升。我们还看到过很多这种阶跃式提升,但我的看法是,每年或者每三个季度,会出现一次重大跃迁。
与此同时,在这些最好的基础模型之上,专用化会开始加速。正如我所说,这很像一棵树,对吧?树干上可以挂出许许多多分支和叶子。随着基础模型的质量开始出现阶跃式跃升,我们就能做更多专用化。所以我确实认为,在这个世界里,专用化的速度会比通用智能部分快得多。
Harry Stebbings:在我们继续向多模型堆栈深入之前,关于通用智能这部分,Sam 提议把 OpenAI 和其他公司的 5% 股权赠予政府。你认为模型开发已经先进、已经对社会如此重要,以至于它们有一部分会由政府或行政机构拥有吗?
Lin Qiao:这是一个很有意思的问题。我认为历史上有先例。如果我们把这些通用智能模型的基础层看成整个大经济运转所依赖的基础设施,那么过去就有类似的先例,例如 PG&E 拥有电力和天然气之类的基础设施,对吧?
我不希望看到的情况是,只有一家公司拥有智能。我觉得那对我来说没有道理。因为智能有不同的形态。有一种让所有人受益的通用共同智能,也有一种专用智能,它帮助我们推动历史进步、以不同方式思考、创造新的生活范式,或者创造新的商业范式并塑造行业。我不希望,
Lin Qiao:我不希望它因为只有一家公司能够做到这一点而消失。我认为那没有道理。
Harry Stebbings:在多模型蓬勃发展的理论下,有一个想法是:根据不同模型擅长的事情,把任务路由给不同模型。既然如此,你们难道不会构建自己的 OpenRouter,来服务这个多模型世界吗?你可以说,你们最适合构建它,因为你们深度理解自己的用例,也拥有评测数据。
Lin Qiao:我的想法是,前沿不只是一个模型。前沿也可以是适合你业务的专属路由机制。你可以据此分解任务:为了完成这项任务,需要一个高度智能的层,也许最复杂的问题要交给最昂贵的闭源模型来判断;通常,人们还会用一个子 agent 去解决更小的问题,那些问题就可以交给更小的开源模型,而这些模型也可以进一步定制,以适应你的特殊设计。
我已经看到很多人今天就在这么做。我们也认为,这里存在一个空间,可以构建能够自我学习的自动路由系统。再和自动调优系统结合起来,最终我们认为,这一切都应该自动化。
然后你会看到一个根据流经产品的数据而自我进化的系统,而你的产品也在持续进化。你的产品是在线的,对吧?你会不断部署和发布新功能,并与用户互动。这样最终会成为一个完全自我进化的自动化系统。
Harry Stebbings:那么,如果堆栈中的路由层可以自动化,或者可以由企业自己构建,它还有价值吗?这是一个值得拥有的层吗?
Lin Qiao:我绝对这么认为。
Harry Stebbings:你确实这么认为?
Lin Qiao:我确实这么认为。如果它可以自动化,或者企业可以自己构建,为什么还需要 Requesty 或 OpenRouter?
Harry Stebbings:可能不需要。我们还没有走到那一步,但我确实认为这可能是一个创新领域。你说 Cursor 是创新方式上的先行者,我完全同意。但我听说,而且我在节目之前确实会认真研究你们,我听说你们的 CTO Dima 曾经在 Cursor 深度参与了几个月,构建 RL 基础设施。事情必须这样做吗?而且这种方式能够扩展吗?
Lin Qiao:通常,在新技术采用曲线的早期,早期采用者都是 hacker。这里的 hacker 没有贬义,也不是负面说法。他们在某个领域拥有深厚专业知识,希望控制很多东西。到了新技术采用曲线的后期,它会变得更容易使用,面向更大的用户群体。那时的用户不一定有深厚专业知识,也不需要那么多控制权。
所以,技术通常会先走向深度控制,之后再走向更少控制。我们的最终目标当然是后一个阶段,但理解如何走到那里也极其有价值。所以我们和 Cursor 深度合作。他们是尝试这些想法的先驱,团队里也有来自前沿实验室的研究者,他们希望控制每一件事。同时,我们也在不断推动边界,做过去从未存在过的事情。
我们之所以做以前不存在的事情,是因为我们在推动这个特定场景的边界:这里到底有什么独特性?通常,如果你想想训练,训练非常资本密集,往往发生在大公司。它们有很多钱,会拿这些钱购买彼此互联、非常昂贵的训练集群。拥有这么大的昂贵集群之后,通常就不需要太深入地思考如何提高效率,只要专注于工作就行。
Cursor 和我们一样,都是创业公司。我们都非常关注资本,希望保持高效,同时又不想减慢研究创新的速度。我们一起找出了一个非常聪明的方式来推动训练过程:进行大规模的后训练,也就是基于强化学习的训练。
强化学习可以拆成两部分。一部分是 trainer,它会调整模型权重,并持续生成新的模型版本。这个新版本会被部署到我们称为 RL rollout 的环境中:部署新版本,让它与一个合成环境互动,比如合成的编码环境,或者真实的编码环境,然后拿回奖励,用来判断这个模型版本是好还是坏。
这是一个粗略的过程。我们把这两部分解耦了。过去,在大型超大规模云服务商那里,它们会把所有步骤放在一起运行。想象一下:10,000 甚至 100,000 个芯片,通过高速互联全部连接在一起。这极其昂贵,也很难找到这样的资源,但运行速度会非常快。
我们设计了一个完全分布式的系统,在全球五到六个数据中心区域运行,接入分散的 GPU,并能够运行大规模任务和 RL 任务。但挑战在于,我们需要在所有不同区域之间同步模型权重。我们当时想:这能有多难?
它之所以重要,是因为发送这些权重的延迟会决定奖励的新鲜程度。如果奖励太陈旧,训练方向就会偏离。所以这里需要平衡。但我们创新了一种方式,可以快速分发新鲜的模型权重,又不会偏离太多。这样从数值上看仍然合理,同时又不受非常昂贵的 GPU 集群部署限制。
这些就是我们和 Cursor 一起推动边界的创新,也促成了他们最近的模型发布。我们为他们感到非常自豪。你们有一些客户取得了令人难以置信的进展。Cursor 是你们非常大的客户。面对 SpaceX 收购之后可能出现的 Cursor 客户流失,你如何看待这个担忧?
Lin Qiao:是的,所有人都在担心。整个行业的应用创新,几乎都围绕模型展开。少数公司非常成功,获得了逃逸速度,但只是少数。整个行业就是这个形状。去年,Cursor 是少数成功者之一。我会说,所有模型公司都集中在 Cursor 身上,我们也集中服务同一批应用公司。
从那以后,情况确实发生了变化。我们拥有非常健康、更加多元化的客户基础。尤其是,我认为去年是编码之年,所有主要编码公司都在使用我们。而今年是协作之年。协作本身比编码更加多元化,因为它包括通用协作。
比如说,通用协作可以帮助你做各种研究。你可能会问:「两年后 NVIDIA GPU 的价格会是多少?」这类就是深度研究、通用的深度研究。除此之外,还有很多不同类别的
Lin Qiao:还有很多专用协作场景。我们刚刚谈了两家优秀的法律公司;还有金融、客户支持、招聘、销售、营销和医疗健康。因此,协作创新应用公司的空间非常广阔,它们表现得很好,也构成了我们的客户基础。
更有意思的是,我们开始看到面向消费者的公司都开始研究生成式 AI 技术。它们正在改变对传统推荐业务的思考方式。因为我们显然曾经在 Meta 工作过,那里拥有世界上规模最大的推荐系统之一,所以我们非常期待看到推荐系统如何转化为一套新的经济模式。
Harry Stebbings:抱歉我可能问得很天真。在推理领域,人们只和你这样的一个供应商合作,还是会同时和你、Together 或其他公司合作?
Lin Qiao:我认为,这个领域的人更倾向于多供应商策略,因为他们不知道接下来会发生什么。拥有多个供应商、让它们互相平衡,会让人感觉更安全。但我们不把自己看成推理供应商。我们再次强调,我们是在交付专用智能,帮助公司调优模型。
给你一些数字:我们现在每天处理超过 40 万亿 tokens。这些 tokens 中,大多数来自定制模型,而不是开箱即用的模型。大多数来自定制模型。
Harry Stebbings:到明年年底,这个 token 数量会达到多少?
Lin Qiao:任何介于 20 倍到 100 倍之间的增长都有可能。
Harry Stebbings:20 倍到 100 倍?
Lin Qiao:是的。我们现在还处于 S 曲线爆发的非常早期阶段。
Harry Stebbings:如果是 20 倍到 100 倍,那么「我们正处于资本开支泡沫中」这个说法就很荒谬了。我们实际上迫切需要远超现在预测的计算资本开支,对吗?
Lin Qiao:对。同时,我认为 Jensen 提到过一个五层的 AI 蛋糕,从上到下是应用、模型、基础设施、芯片和能源。就供应链而言,我们受到 AI 蛋糕下层的瓶颈约束。
Harry Stebbings:能源。
Lin Qiao:能源、芯片,以及物理世界里我们能够多快制造出来。因为从历史上看,这些行业都不是为大规模扩张而设计的。说到 100 倍扩张,没有任何行业是为此设计的。我和许多制造商聊过,感觉我们被很小的零部件卡住了,比如晶体管。最微小的部件可能会卡住整条服务器制造线,而这些服务器最终要部署到数据中心,用来生成 tokens。
Harry Stebbings:回到 Jensen 的五层 AI 蛋糕,你们是否必须做成全栈,才能获胜或减少依赖?我们已经看到 OpenAI 推出 Jalapeno,名字很糟糕;Anthropic 和三星讨论自研芯片;DeepSeek 构建自己的芯片;Zuck 也宣布 Meta 构建自己的芯片。你们必须成为所有层吗?
Lin Qiao:这确实取决于公司的理念。对我们来说,敏捷性就是一切,我们需要通过行动赢得构建任何东西的权利。所以专注对我们来说就是一切。我们希望根据自身优势,专注于能创造最大价值的地方;同时借助其他人的优势,在他们之上构建。
具体来说,我们希望在世界上所有可能的 AI 芯片上运行。我们不希望被自己能带进数据中心的芯片数量限制,不管数据中心是我们自己建的还是租来的。但随着业务长期变得非常庞大,情况可能会变化。我还记得 Meta 还年轻时,他们不会构建一切;等他们变大之后,构建某些东西才有意义。
当你拥有巨大的流量,而且自建能节省五倍成本时,你就赢得了为自己构建的权利,那时就应该去做。但在最早期,情况不是这样。这让我想起一个有意思的故事。在编码领域,我会说 Cursor 是第一家很早就决定与我们合作的公司。我还记得他们刚开始和我们合作时,收入只有个位数百万美元,规模非常小,那还是两年前。
两年里,他们增长了几百倍甚至一千倍,但他们很早就决定与我们合作,因为他们意识到自己只想专注于产品创新,之后再专注于研究。他们不想把精力放在平台创新上。他们知道我们把所有研发投入都放在那里,他们想找到最好的合作伙伴,一起赢得更大的市场。
我确实认为,这是专门化的正确心态。我们也想专门化。我们不想拥有完整的全栈,这不是我们的公司目标。
Harry Stebbings:抱歉我一直纠缠这个问题。为什么 Jensen 会跳过你们这一层蛋糕?因为他正在做 Nemotron 和模型。他为什么不担心也会蚕食你们的业务?
Lin Qiao:Jensen 也没有在做云。你可以说,Jensen 完全有权利构建 NVIDIA 云,但他没有这么做。我认为他也提到过这一点。很多人问过他,他也说过,自己想专注于那些他有权利做的事情。
为什么要做模型?我认为这纯粹是供应链问题:如果美国没有美国本土的开放模型,那就是一个问题,是供应链问题。所以他在那里只是为了解决供应链问题。但如果不存在供应链问题,因为像我们这样的公司正在提供专用智能的平台层,那么他就不用担心了。
他只是希望确保 AI 蛋糕的五层都能流动,不存在阻塞。如果出现阻塞,他就会对解决这些问题感兴趣。
Harry Stebbings:Mark Benioff 是你们的投资人之一,我想他在新一轮融资中也参与了。当然,这期节目会在新一轮融资公布后播出。他说,Salesforce 大约把开发者薪酬的 3.8% 花在 Anthropic 和 Claude Code 上。我觉得这是一个有用的类比,因为如果你假设这就是在调用代码和编码工具上的支出,这代表了市场的一端。但如果是 20%,那我们就严重低估了这些公司的规模。
向前看一两年,你觉得我们会把开发者薪酬的多少比例花在这些工具上?是会因为工具变便宜而下降,还是会因为工具越来越好而上升?
Lin Qiao:我确实认为 token 的成本会大幅下降。之所以到现在还没有下降,是因为供应链约束。但我们生活在一个自由经济中。想想每当出现短缺,价格就会上升;高价格会吸引很多人来解决问题,也会带来竞争。竞争会让成本下降,最终我们会得到一种非常经济的解决方案。
这其实对所有人都有好处,因为更可负担的基础设施会带来更多使用。所以我的预测是,随着基础设施成本下降,这就回到了我对明年情况的预测,因为基础设施成本会
Lin Qiao:基础设施成本会下降,使用量会因此爆发,对吧?所以,一旦你不再把它看成问题,而把它当成一种公共事业,就会直接使用它。
Harry Stebbings:token 成本会下降多少?情况会是怎样?是减半吗?还是会变成现在成本的百分之一?
Lin Qiao:有几种不同的思考方式。并不是所有 token 都相同。我认为,我们应该建立一套最佳实践,按照每项任务的 token 经济性来评估,因为不同模型输出 token 的方式不同,有些模型比另一些更啰嗦。
你可以想象,一个模型的单 token 价格便宜两倍,但它为了解决同一个任务,需要输出两倍的 token,那最终成本其实相同。但总体而言,随着模型质量提升,我认为精准会成为优化的一部分。
第一个优化层次是:为了解决一项任务,我们需要更少的 token。第二个层次是:对于每一个 token,如何让它更有效。这需要定制模型,让它更好、更精准地解决你的问题,这就进入了模型调优。
再往下,对于模型输出和处理的每一个 token,我们也在专注于通过平台让单位经济性变得更好。第三层是底层基础设施,例如 GPU,以及内存等周边设备。今天这些设备受到很严重的供应链约束,但情况会大幅改善。我不认为未来一年或一年半就会改变,但从长期来看,两到三年后应该会改变,成本会压缩。
总体而言,我可以想象未来三年成本下降 10 倍,而这 10 倍的成本下降会带来 100 倍的使用量。
Harry Stebbings:你刚刚提到 token 效率,以及你如何让客户更有效率。你们会因此收取更高的价格。我做研究时,把你们和竞争对手比较了一下,感觉 Together 是价格之王,我不是在贬低他们,只是说,他们更便宜。如果你想要便宜,就去那里;如果你尊重地说想要更高质量的产品,就来找你,但你们更贵。这样的判断和类比公平吗?
Lin Qiao:我认为这可能不是苹果对苹果的比较,因为这又回到我们的业务上:我们的流量大多数来自定制模型。我们的第一目标始终是质量,也就是针对你的应用、具体业务和用例的模型质量。
第二,当我们在推理阶段交付这些模型时,同样关注质量。我们非常重视质量,甚至会做一些极端的事情。比如,在训练阶段,有一个非常难以实现的目标,叫作 zero KLD,稍微有点技术性。
Harry Stebbings:Zero KLD?
Lin Qiao:KLD 是衡量质量的一项指标。它的意思是:在训练系统和推理系统之间,当模型迁移过去时,实现 bit-level equivalence,也就是数值完全相同,不损失哪怕一 bit 的准确度。
这非常难。但我们坚持这样做并交付这种结果,是因为我们知道自己的核心业务是定制模型,以及定制模型的推理。我们希望客户投入训练的每一美元都得到最大化。如果训练和推理的边界无法做到 bit-level equivalence,质量就会下降。那就像你为训练投入了资金,却用打折后的质量来兑现,为什么要这么做?
所以,质量优先,而质量确实会带来额外价值。这就是为什么我们对商品化的、一套方案适用于所有人的业务不感兴趣。不是把开箱即用模型以同样的方式部署给所有人,而是始终把定制模型以独特方式部署给特定工作负载。
Harry Stebbings:我有两个问题。你们是否必须配备 FDE,才能让定制模型高效?
Lin Qiao:事实上,我们确实有一个 FDE 团队,叫作应用机器学习工程团队。他们的主要工作就是加速定制化部署。实际上,我们也构建了一个 agent,来自动化很多部署工作。
Harry Stebbings:考虑到你们所在的堆栈位置,你们面对的复杂性很高,利润结构和传统 SaaS 的 80% 毛利率有些不同。我不知道你们的准确利润率,但你们所在的领域传统上大约是 30% 到 40%。这是你们所处领域的新常态吗?
Lin Qiao:我不认为这是新常态。至少对我们来说,这反映的是我们处在高速增长阶段。我不知道其他公司是什么情况,但对我们来说,确实是这样。
在高速增长阶段,你有选择。对我来说,利润率优化是一个约束问题:我们想做到 70% 毛利率,想做到 80% 毛利率,然后倒推回去施加约束,保证这些利润率。但约束通常会减慢创新。
例如,在系统开发和高速度扩张阶段,我们不想过度建设,因为我们正在进行大量实验,测试什么会保留、什么不会保留。在这个阶段谈优化没有意义。一旦我们知道这就是 100% 想要构建的系统,并且准备把它扩大一千倍,我们就会对它进行彻底优化。
我认为你也会用同样的方式看待业务。我们处在高速增长阶段。如果我们只关注增长利润率,当然可以做到,但我们会牺牲增长速度,因为我们想进入所有地方,进入不同区域,解决不同用例,持续创造不同产品线。而这些都不是该优化的时机。
这是我的看法:我们能够在不进入堆栈其他层的情况下提高利润率。我们绝对不会进入应用层,这一点非常清楚。至于我们是否会向下走,去建设数据中心之类的基础设施,那始终可以放在桌面上讨论,但问题在于时机。
Harry Stebbings:不是有句话说:「你要么死去,要么活到足够久,最终建造自己的数据中心」吗?现在 Elon 或 Zuck 好像正在加拿大最新的数据中心上花 100 亿美元。你们想建数据中心吗?
Lin Qiao:我在 Meta 时建过数据中心。那里也有很多可以创新的地方,同样不存在一套方案适用于所有人。构建 GPU 原生数据中心也很有意思,所以这是一个取舍问题,对吧?
从运营角度看,构建异构部署要好得多。如果所有东西都是同样的芯片、同样的 SKU,规模尽可能大,
Lin Qiao:这样可以运行多种工作负载,资源是可互换的,对吧?管理起来非常容易。你建立一套原则、一套维护和运营流程。它又回到了优化问题。但当规模足够大时,任何优化都会带来巨大的经济回报。
比如,我们最近谈到 NVIDIA 收购了一家也叫 Groq 的公司,拼写带 q。它是一家大型、基于 SRAM 的 ASIC 加速器公司。我在节目之前和 Jonathan 聊过。Jonathan 非常优秀。他说自己是你的粉丝。
Harry Stebbings:我也是他的粉丝。
Lin Qiao:这是 FLOPs 密集型 GPU 和 SRAM 密集型加速器之间的绝佳组合。FLOPs 密集型设备非常适合 LLM 处理的前半段,也就是 prefill,处理 prompt 之类的工作;SRAM 密集型设备非常适合生成。这是模型架构的本性。把两者结合起来,比让所有工作负载在同一类芯片上异构运行更好。
但这需要非常独特的系统设计,以及部署到数据中心的能力。刚才我说的是异构,实际想表达的是,出于运营角度,同质化设计通常更好;而要运营这种异构设计,就需要在数据中心部署等方面进行独特创新。
所以,数据中心不是商品。你可以专门优化数据中心部署,一座数据中心可能比另一座更好,数据中心部署可以做得很好,也可以做得很差。数据中心非常复杂,对吧?
从最开始的建设,到电力部署,你要让合适的电力接入;还要有光纤通道、合适的冷却,尤其是你的芯片可能需要液冷。所有这些都要正确,零部件还可能损坏,需要知道如何更换。这需要非常深的专业知识,绝不是小事。我不可能明天就成为数据中心运营商。
Harry Stebbings:这难道不是一个你会长期看好中国的地方吗?请允许我这么说。尤其在美国,数据中心部署最大的障碍之一是政策,以及阻止部署的本地法律基础设施。而在中国,这些限制并不存在,数据中心部署快得多。
Lin Qiao:总体而言,基础设施,也就是物理基础设施建设,在中国进展非常快。我真的见过一座立交桥在一周内建成。那里的速度非常高。我家附近有一条高速公路,修了一年还没完工,所以确实形成了对比。
我认为,这可能是因为人口密度,中国在这类建设上形成了独特优势。他们在这些建设上进行了专业化。但我也认为,美国同样有自己的专业人才,只是我甚至听说,连电工都严重短缺。我们现在正面临全球供应链约束。
Harry Stebbings:如果进入数据中心层,会让利润率发生什么变化?会从 30% 提高到 50% 吗?还是没那么有意义?这会怎样改变利润率?
Lin Qiao:现在计算毛利率是一件有意思的事情,因为硬件的折旧周期已经发生了很大变化。
Harry Stebbings:过去是六年,实打实的六年。
Lin Qiao:而硬件发布周期通常是三年。
Harry Stebbings:已经很快了。
Lin Qiao:现在,仅一家供应商一年内就会有三个 SKU。新模型通常在最新硬件上运行得最好。模型折旧也非常快。我们每周都在发布新模型,一个模型往往在下一个模型出现之前达到价值峰值,而新模型又喜欢最新硬件。
想象一下两年后的节奏:哪个模型会运行在两年前的硬件上?它会是两年前的模型。那些模型还值钱吗?
我认为,这就是我们现在面临的真实动态:硬件仍然会持续六年。但正如你所说,模型开发速度远远超过芯片和硬件的速度。模型速度绝对是最快的。
但硬件本身的创新速度也很快。如果每年有三个硬件版本,三年后,中间就会有九代硬件。你还希望回到九代以前的硬件上,让它运行三年前的模型吗?这很值得怀疑。也许有些工作负载仍然有价值,但在这样的创新速度下,确实很难说。
不同的折旧周期改变了自建还是拥有、构建还是购买之间的动态。它又回到了我最初的论点:你是优化增长,还是优化增长利润率?一切都取决于时机。
Harry Stebbings:你坐在扶手椅上,在一个周日下午思考:我们现在优化增长。什么时候才是优化毛利率的时机?你怎么想?
Lin Qiao:我会说,我们希望两者都优化。我的思路是,优化增长需要大量业务规划,并且前提是存在产品市场匹配。优化增长利润率,其实是在优化差异化。
我希望避免过度优化增长利润率,但我们应该持续优化增长利润率。也就是说,我们应该持续优化产品差异化,这是毫无疑问的。我们希望持续向健康的增长利润率优化,让我们可以非常快地增长。
这是一种取舍,我们不希望做出妥协。这里的妥协是:过度优化增长利润率,最终导致增长非常缓慢。优化增长利润率的一种方式,是完全不增长,只把它优化到极致。我知道我们可以一路攀升到一个很高的数字,但那绝对是灾难性的结果。
Harry Stebbings:有意思。如果我们说:「解决毛利率问题,把它从 30% 做到 10%。」这是一个赢家通吃的市场吗?我们能不能吃掉所有其他人的午餐,然后以后再优化毛利率?
Lin Qiao:我们知道,这不是一个时间点上的快照,而会是一个长期过程。我们确实会看到某个行业不断摇摆,最后稳定在几家优秀公司之间。以 Liko 为例,我曾经在一次晚餐上聊到它。两年前,周围似乎有很多这样的公司,但现在基本只剩两家。
我认为这是一个长期游戏。
Harry Stebbings:你如何看待市场更成熟后的状态?它会像云市场一样,有 Azure、AWS、GCP;还是像 Uber 和 Lyft,一家拿走 90%,其他公司争夺剩下的部分?
Lin Qiao:我们现在处于采用曲线中,越来越多进入 AI 领域的公司开始认真考虑专用智能,开始认真思考拥有自己的智能是否比租用更好。因为回到优化问题:什么时候是合适时机?这也是我们在回答自建还是购买时,对自己提出的同一个问题。
Lin Qiao:我们的客户也在思考自建还是购买、自建还是租用、拥有还是租用,对吧?
我认为,AI 旅程或 AI 采用旅程已经推进得更远了。很多公司已经拥有有意义的流量,很多公司已经把 AI 部署到生产环境,很多公司已经进入规模化阶段,而这正是优化开始发挥作用的地方。
当优化开始时,你需要拥有控制权才能优化。如果没有控制权,你就没有优化空间。要拥有控制权,就必须构建在某种开放模型之上,把你的数据转化成智能。
我们看到行业里的很多公司都走到了同一个结论:它们正在走向拥有自己的智能。
Harry Stebbings:说到拥有自己的智能而不是租用,这似乎也适用于国家层面。我们曾经看到 Fable 在某些情况下被政府短暂封禁 19 天,尤其是在欧洲。我们突然意识到:天啊,我们不能把医疗服务建立在 OpenAI 和 Anthropic 之上,然后让政府可以把它们关掉。我们不能让自己的基础设施掌握在一个行政机构可以关闭的系统上。
我们会不会看到一个主权模型的未来,由大国或国家集团拥有自己的主权模型?
Lin Qiao:我确实认为存在这种可能。如果我们把通用智能模型看成电力层、看成电力线,那么每个国家都应该拥有自己的电力线。我认为,那会是一个非常可怕的时刻:我的电力线会不会被切断?我日常生活的基础设施会不会因此无法运转?仅仅我家停电时,我就会非常沮丧;连不上 Wi-Fi 时,我也会感到焦虑。
显然,一个国家的运作极其重要,国家建立在这条基础底线上。对于每一家公司也是一样。问题不只是一个国家是否应该拥有独特的主权独立,每一家公司也应该拥有自己的独立性。你不希望任何一个人把你切断,那会是极其可怕的时刻。
Harry Stebbings:你为什么会进入数据中心领域,却不会进入芯片领域?
Lin Qiao:因为我知道造芯片非常难。
Harry Stebbings:我也这么想。但为什么现在看起来每个人都在造芯片,好像那只是另一个产品?
Lin Qiao:正如我说的,OpenAI、Anthropic、DeepSeek、Meta 现在都在构建自己的芯片。Meta 构建芯片已经超过五年,远不止五年。MTIA 从 2018 年起就是一个项目,也许更早,因为 Meta 很早就投资 AI,在生成式 AI 之前就已经在做了,而且它们有巨大的排序和推荐工作负载。过去它们可能也构建过其他硬件。
所以,当使用量超过某个门槛时,自建底层供应就会具有经济意义,你可以围绕自己的工作负载进行专门化。这是另一种专用化:把你的逻辑写进硬件,构建专门服务于特定工作负载的硬件。
但你最好确保这个工作负载不会变化。因为硬件一旦完成流片,就很难回头改变,虽然不是不可能,但成本会非常高。所以,只有当工作负载稳定、业务稳定、不再频繁变化时,才是考虑造芯片的时候。
我仍然认为,整个 AI 世界,尤其是模型和定制化,都非常动态,工作负载模式也非常动态。想想应用空间里有多少能量:人们正在尝试各种事情,你不知道哪一个会起飞,而且它们可能会非常快地起飞。起飞之后,哪个能够持续?也许只有少数会持续。
等到那时,我们知道了工作负载模式,才应该把它编码进硬件,把硬件带进数据中心,等等。这是一层层级联下去的过程。
对我来说,这是一个漏斗问题:我们处在漏斗的哪个阶段?我指的是成熟度漏斗。我们仍处于工作负载成熟度漏斗的早期,还不足以证明一款芯片会长期耐用。
所以你再回头看,会发现有很多成功的加速器,其中一些非常成功。但记住,那些 ASIC 公司在生成式 AI 之前就已经开始了。它们最初是为了优化某种工作负载而提出某个论点,后来都转向 AI,试图适配 AI 工作负载。它们几乎是在 AI 工作负载出现之前下注,后来变成了一个运气问题:你是否足够幸运,刚好奏效?
有些确实奏效了。把大量 SRAM 放在芯片上的一些基础设计,非常适合 AI 模型,因为 AI 模型对内存需求很高,这确实会加速推理执行等等。但有些就没有奏效。
Harry Stebbings:你认为今天最大的瓶颈是什么?我之前请 Groq 的 Jonathan 来节目,他说 HBM 是最大的瓶颈,这也是价格上涨五倍的原因。你认为有哪些人们没有充分讨论的最大瓶颈?
Lin Qiao:我仍然认为,我们没有一套适用于超大模型的好系统。我非常相信,底层基础设施成本会下降;为了解决任务,我们需要更少的 token,这会增加效率。总体而言,成本会大幅下降。因此,未来我们可以更普遍地运行最高智能的模型。
但我们还没有一套为此设计的系统。例如,今天我们还没有为 10 万亿参数模型设计的好系统。这需要非常聪明的工程,需要从模型、定制化、服务平台层一直协同设计到芯片层。
芯片不是一颗孤立的芯片,而是一个系统,是一组芯片组成的系统,最终要作为一个整体来设计。我认为这里还有大量创新空间。
Harry Stebbings:你最近宣布 ARR 达到 8 亿美元,这是一项不可思议的成绩,而且增长非常快。到今年年底会达到多少?
Lin Qiao:我们认为至少可以翻倍。
Harry Stebbings:到今年年底?
Lin Qiao:对。
Harry Stebbings:作为一名投资了十年的风险投资人,这对我来说很有意思。过去 Slack 是我们的黄金孩子,18 个月从 100 万美元收入做到 1000 万美元,就已经非常惊人了。现在有 Fireworks 这样的公司,在几年内就把收入做到 8 亿美元。你还提到 Cursor 在几年内增长到数十亿美元收入。公司收入增长的速度简直前所未有。
Lin Qiao:我认为,这是因为这项技术存在根本性颠覆,而且它能够赋能所有人。所谓赋能所有人,就是它触达我们每一个人,让每个人都能创造,并释放出大量原本没有被释放的创造力,这些创造力我们只是
Lin Qiao:我们原本无法接触到这些创造力。这就是为什么我们会看到极快增长的现象,因为需求正在出现。

快问快答前

Harry Stebbings:最后一个问题,然后我们进入快速问答。你招来了 George Hu,他曾是 Salesforce 的总裁。他非常出色,是我见过最直接、最不说废话的运营者之一。但你在一两年前就见过他,当时你说:「我们还没准备好。」为什么那时这么说?又为什么决定现在才是时机?
Lin Qiao:一年前,我们大概只有 50 个人。今天我们有 200 个人,但我们仍然不算大。
Harry Stebbings:哇,你已经是原来的四倍了。
Lin Qiao:在 50 个人的时候,我更多考虑的是先扩大产品,而不是把业务大规模扩张。我们聊过,我非常尊重他,也知道他是硅谷传奇般的运营者之一。我只是觉得我们对他来说太小了。我对他说:「我们可能对你来说太小,但我希望以某种方式和你合作。」
所以他帮助我搭建团队,面试了很多高管。他的反馈总是平衡、周到、非常有思考。我们先以这种方式开始合作。到了去年年底,我们增长得非常快,他也知道这一点。于是我们开始认真讨论,那段早期关系最终发挥了作用。
他很酷的一点是,过去做过很多事情,取得过很大的成就;但他独特的地方在于,他经验极其丰富,对业务有很高的判断力,同时又非常好奇。他不会自以为「我什么都知道,我已经看过所有电影,这还是同一部电影,让我按过去的方式来导演」。他没有这种态度。
他知道 AI 的发展速度快得惊人,还有很长的学习之路,但同时也完全拥抱 AI。实际上,他的团队,也就是我们的 GTM 团队,正在使用各种 AI agent,分享技能,以最大化生产力。
他知道我们的需求曲线是超线性的。我们建设 GTM 团队有一个客观速度上限。为了追上这条曲线,我们需要建设团队,但团队本身的生产力也必须不断提高,才能跟上需求。这正是他正在解决的问题,我非常幸运能够和他一起工作。
总体来说,我觉得 AI 领域的独特之处在于,人需要拥有一些非常特殊、甚至彼此矛盾的特质。比如,经验非常丰富,但同时又极度好奇,学习速度很快。或者 Dima,我们前面谈到过,他拥有出色的智力和极高的思考能力,但同时又极其谦逊。这是一个很奇怪的组合。他还有一种东欧式的近乎犬儒的气质,但同时又非常谦逊。
Harry Stebbings:我可以进行快速问答吗?
Lin Qiao:可以,我们开始吧。
Harry Stebbings:过去 12 个月里,你对什么事情的看法改变最大?
Lin Qiao:我改变了对增长速度的看法。过去我很担心团队过早变得太大。所以我见到 George 时告诉他,我们对你来说太小,因为我没有打算在人头上增长得很快。我非常担心被拖慢,失去敏捷性和速度。
但从那以后,我们开始非常积极地使用 AI 工具,也发展出一套独特的招聘方式,去招聘那些我们知道会高速向前推进的人。他们拥有极强的传感器式责任感,沟通能力很强,而且永远不会接受「不行」作为答案。
我们也学会了如何找到这样的人。现在,我对快速滑行感到舒服多了。
Harry Stebbings:你偏好什么样的人?我知道这听起来有点奇怪。
Lin Qiao:我们偏好的人其实非常具体。基本上我们只雇移民。
英国人不太努力工作。抱歉。这要非常科学、非常严谨。大多数事情都用数据。我实际上认为,创造力往往来自数据,也受到数据启发;同时还要坚定地承担责任和所有权。没有任何事情是别人的错,所有事情都是我的错,即使确实是别人的错。
Harry Stebbings:这很像一个 20VC 的人。你认为自己的类型是什么?
Lin Qiao:奇怪的是,不是能力。我们当然希望人具备很高的能力,但更重要、尤其是在 Fireworks 这样的公司里,决定一个人能否在这波浪潮中取得成功的强信号,是他是否真正为极端责任感而生。
极端责任感的意思是,我们不是把人放进一个个盒子,再把盒子堆成塔。人会自动站出来说:「这是一个端到端的问题,我要把整件事看完,并和一群人合作把它做成。我无论如何都会交付。」
这类人拥有最高、最长的里程,他们的成长曲线也非常惊人。
Harry Stebbings:你和 Jensen Huang 一起工作后,对他为何如此特别最大的感受是什么?
Lin Qiao:他无处不在。我真的觉得他有几百个克隆人,不知怎么就插进各处。比如我给他发一封邮件,他会在一分钟内回复。我无法理解他怎么能一直掌握细节。
但现在我运营一家公司已经四年了,我理解他为什么这样做,因为这决定了速度。什么是领导力?领导力就是判断力,不是特权,而是判断力。你必须拥有上下文,拥有正确的上下文,才能为团队做出正确判断。
尤其在高速变化的领域,如果你不知道正在发生什么、什么有效、什么无效、缺口在哪里,你就会做出错误决定。在慢速变化的领域,你可以等待信息上下传递,再做决定。但在快速迭代的领域,你根本不能等待,因为信息在层层传递、人与人传递的过程中必然会损失。
不知道现场究竟发生了什么,又缺乏做出精确判断的能力,就会造成糟糕的领导力。Jensen 在这件疯狂的 AI 事情之前,就已经通过自己的例子展示了这种工作方式。过去我只是惊叹于他完成事情的数量和能力;现在我理解了背后的智慧,因为我也这样运营公司。我需要知道一线正在发生什么,才能为公司做出判断。
Harry Stebbings:在 Fireworks 的旅程中,你有哪些事情等待得太久,希望当时没有等待?
Lin Qiao:市场营销。我们谈过这件事。我们在这方面有点像 nerd。旅程最开始,我们没有讨论市场营销,而是觉得产品会自己说话。最终,产品会站得住脚。我们想把所有努力和注意力投入产品建设,与客户合作,验证产品市场匹配,然后从那里继续。
我们几乎没有花时间做市场营销,也没有优先教育客户应该如何理解趋势和价值。但现在,我认为这很重要。市场营销不是为了掩盖缺陷,更多是为了教育,更多是为了清晰表达。我们正在
Harry Stebbings:你认为今天 AI 哪个领域投入不足?你提到了冷却或服务器。哪个领域是投入不足的?
Lin Qiao:AI 最性感的部分,是它如此创新、如此有创造力,大家都把注意力放在基于它构建东西上。但我认为,监测投资回报率也很重要。行业开始关注这一点,但最终这才是关键:不是花了多少钱,而是回报是什么、成本是什么、归因是什么。
未来几年,随着 AI 越来越多地进入生产环境,大家会非常关注如何获得这种清晰度,并建立这种纪律。token 最大化只是一个阶段性现象,但我们很快会走向 ROI 最大化,而这就是经营一家公司。
Harry Stebbings:你还没有哪些大客户,但最希望拥有?
Lin Qiao:我们还没有在传统企业领域投入太多时间。我认为这只是因为我们过去太小。现在随着公司逐渐搭建起来,即使我们没有主动投入,也已经有 Geico、Capital One 这样的客户来找我们。所以即使我们没有主动追求传统企业,它们也会来到我们这里。但我确实认为,那是一个非常大的市场。
Harry Stebbings:在今年结束之前,哪些还没有发生的事情必须发生,你才会认为这是一个好年份?
Lin Qiao:我对推动业务的能力有信心。对我来说,今年是要证明我们可以在保持相同速度的同时快速规模化的一年。这对我非常重要。如果我们达到这个点,达到这个证明点,明年我就会更有信心继续非常激进地扩张。
我想确保今年把事情做对。
Harry Stebbings:最后一个问题。未来三年,有什么事情别人看不到,但你非常清楚会发生,或者不会发生?
Lin Qiao:我非常清楚地看到,每一家公司都会拥有自己的智能,这会成为必需品,而不是可选项。这是我看到的趋势,因为软件有一个类比:每家公司都会构建自己的软件栈,这是有原因的。没有一种标准化软件可以直接开箱即用地解决问题,因为每家公司解决的都是独特问题。它们想要构建软件,是因为想要完全控制。
当然,它们会挑选哪些堆栈部分由自己构建,哪些部分属于通用知识、没有必要重复构建。但每家公司都会拥有自己的软件栈。
我们现在是在 SaaS 时代讨论这件事,对吧?我认为 AI 时代也是一样:每家公司都应该拥有自己的智能。
Harry Stebbings:Lin,最初是 Matt 把我们介绍认识的。我很高兴认识你,也认识 George。非常感谢你来参加节目,也感谢你亲自到场。能够面对面完成访谈非常棒,你表现得很出色。
Lin Qiao:这是一个很棒的演播室。你问了很多有意思的问题。我很享受和你聊天。我们之前做了很多研究,对吧?
Harry Stebbings:是的,你确实做了。

广告口播:JPMorgan

Harry Stebbings:不过,在我们今天结束之前,创始人在每一个增长阶段都会面对不同挑战。D-Matrix 的联合创始人兼 CEO Sid Shate 就是一个例子。JPMorgan 提供了指导和专业知识,帮助他应对接下来发生的事情。他认为,JPMorgan 的高接触式服务方式支持了 D-Matrix 的成长和国际扩张。
无论你还处于早期阶段,还是正在进入新市场,JPMorgan 都能凭借真正的信心帮助创业公司应对复杂性,提供个性化指导和深厚的行业专业知识。想了解 JPMorgan 如何帮助创始人,请访问 jpmorgan.com/grow-without-limits。JPMorgan 是创新经济的银行。

广告口播:Navan

Harry Stebbings:JPMorgan 为你的财务提供支持,而 Navan 让你的团队保持运转。你知道吗,预订一次商务旅行的行业平均时间是 45 分钟?这会大量浪费团队时间。使用 Navan 后,员工平均只需要 7 分钟就能订好行程。Navan 是一款由 AI 驱动的差旅与费用管理平台,为重视效率的公司而设计。
它通过较高的员工采用率和自动化政策控制,带来真实的业务影响。现在,内置 AI 会自动批准符合政策的预订,并自动拦截其余预订。这样一来,财务团队不用再追着员工要收据,也能跳过月末混乱;同时,你还可以获得实时可见性,最多节省 15% 的差旅预算。这就是为什么 Visa、Stripe、Figma,甚至 Anthropic 的管理者如今都依赖 Navan。
访问 navan.com/20VC 了解详情,你还有机会赢得两张前往美国大陆任意地点的商务舱机票。无需购买,具体规则以活动说明为准。现在就访问 navan.com/20VC。Navan 让你的团队保持运转,而 Base44 帮你更快地构建产品。

广告口播:Base44

Harry Stebbings:你有一个想法,但使用大多数 AI 工具时,你会撞上一堵墙:设置、配置,以及你脑中设想的东西和最终真正发布的东西之间的差距。Base44 会让这堵墙消失。你描述它,Base44 就把它做出来。应用、网站、AI agent、真正能工作的产品,只用自然语言,几分钟内就能构建完成,而且所有东西都已经配好。
后端、数据库、身份验证、托管,所有繁重的工作都已经处理好了。你只需要保持在流程中。这不仅替你拿走了杂务,也会给你带来优势,让你超越原本以为自己一个人能做出的东西。在这个市场里,快只是基线。想要赢,你只需要成为第一个。Base44 就是那种优势:跳过排错,直接抵达突破。访问 base44.com 构建你的下一个产品。就是 base44.com。嗯,

来源

Contenido relacionado

Comentar

Inicia sesión para comentar.