vLLM 从开源项目到 Inferact:AI Infra 创业者的五个判断Chapters1×1:28从算法研究走向系统工程3:26开源项目为什么会长大5:21从社区到公司,创业是为了什么7:45模型和 Infra 要一起设计10:08Token 不只是账单,电力才是约束12:02给 AI 产品团队的五个检查项0:0014:390:08host这一期我们聊一个很容易被讲成融资新闻的故事。一个从伯克利校园开源项目长出来的推理引擎 vLLM,后来变成了公司 Inferact。节目开头给出的背景是,Inferact 在今年初拿到了 1.5 亿美元种子轮。0:25analyst我们根据张小珺对游凯超的完整公开音频转写,压缩成五个给 AI 产品创业者的判断。先说明素材边界:这是一集二次精炼,不加入嘉宾原声剪辑。正文里的链接可以回听原始音频,文中涉及的观点和数字都以节目口述为准;1.5 亿美元这一轮融资,另外有 a16z 的公开帖交叉确认。0:50host这个故事有意思的地方,不在于一个开源项目终于找到了商业模式,而在于它连续跨过了三道门:先把算法做成系统,再把系统做成社区,最后让社区得到一个可以长期承担人力、法务和算力的组织。1:08analyst对正在做 AI 产品的人来说,真正的问题也不是「要不要开源」四个字,而是你的技术到底有没有进入别人的工作负载。用户愿不愿意部署,开发者能不能接入,维护者能不能处理下一轮模型和硬件变化,这些问题会比发布当天的论文指标更早暴露。1:28host游凯超在访谈里回顾,他早期做的是算法研究,关注数据稀缺场景下的学习和泛化。后来他越来越不满意一种研究状态:在小数据集上把方法提高一点准确率,却很难回答它在真实系统里能不能跑、能不能扩展。1:46analyst他提到,真正决定大规模实验结果的,常常是机器学习系统和对应的数据,而不是把交叉熵里的某个权重再雕得精细一点。这个转向不是把算法看低了,而是把问题往前推了一步:算法要有用,必须经过数据、硬件和系统的共同检验。2:06host他在伯克利接触到机器学习系统时,还向 Ion Stoica 请教过一个很现实的问题:如果做了一个很好的系统,却没有人用,是不是浪费时间。得到的回答是,只要是好的软件,最后总会有人用。2:21analyst这句话不能被理解成「先做出来再说」。vLLM 后来能活下来,恰恰是因为它解决了一个非常具体的痛点。PagedAttention 借鉴操作系统的虚拟内存管理思路,去管理大模型生成过程中的 KV Cache。再往后,项目不断加入连续批处理等能力,才从论文里的方法变成更完整的推理系统。2:46host所以第一个判断是,AI Infra 的创业机会,往往藏在一个被大量团队反复遇到、却没人愿意长期维护的系统问题里。论文是起点,真正的产品是让别人的模型在真实机器上稳定运行。3:03analyst团队可以拿这个问题反查自己的项目:如果把模型名字换掉,用户的痛点还存在吗?如果硬件型号换掉,你的价值还剩多少?如果客户把流量放大十倍,产品是变慢、变贵,还是仍然能给出明确的成本和性能答案?这三问比「我们的模型有没有领先」更接近基础设施生意。3:26hostvLLM 早期并不是一家公司策划出来的产品,而是伯克利的校园项目。开源之后,项目被越来越多的模型和公司采用,尤其是在中国开源模型快速增加之后,适配需求突然变得很密集。3:42analyst游凯超的描述里,维护者并没有把增长说得很轻松。他说得很直接,大意是「我们撑过来了」,但不是说一开始就把所有事情做得非常好。新模型、新硬件和新负载不断进来,维护者只能在真实问题里补系统。4:00host这说明开源的第一层价值是分发和反馈。你的代码会被更多人试用,问题会更快暴露,贡献者也会把你原来没有想到的硬件和场景带回来。但开源的第二层工作更难:谁来做取舍,谁来保证接口不被随意破坏,谁来决定哪些补丁值得进入主线。4:22analystvLLM 采用的是分级治理。最上面被他们称为「仁慈的独裁者」,包括几位核心维护者和 Red Hat 的参与者;下面还有十来个核心维护者、几十个提交者,以及更大的贡献者社区。平时可以充分讨论,但遇到大方向和重大取舍,最终必须有人拍板。4:44host这对创业者有一个不太浪漫、但很有用的提醒:社区共识不等于没有负责人。越是底层的开源项目,越需要把贡献、评审、发布和长期兼容拆开,不能只靠几个最初的作者凭热情撑住。5:01analyst你可以把治理设计成三张表。第一张表记录谁能提交代码,第二张表记录谁能决定接口和版本,第三张表记录出问题时谁来维护。三张表重叠得越少,社区越容易理解边界;全部压在一个人身上,项目一火就会变成维护者的个人债务。5:21host访谈里最有力量的一段,是几位核心维护者在高薪机会和创业之间做选择。他们谈到,如果自己赚了很多钱,但 vLLM 项目失败了,可能会后悔一辈子。游凯超还把这个问题问过同伴,得到的答案也是不愿意看到项目失败。5:43analyst这不是一句用来包装融资的热血口号。它解释了为什么他们愿意把个人收益放在后面。对这群人来说,vLLM 已经不是一段可以写进简历的代码,而是一项可能影响整个推理生态的公共基础设施。6:07host但光有使命感不够。节目里反复提到,如果没有公司支持,项目会遇到人力不稳定、保密协议没法签、集群级算力难以长期获取,以及复杂商业协作没人承接的问题。开源社区能让项目启动,未必能独自承担这些成本。6:25analyst所以公司化不是把开源代码关起来,而是给公共项目增加一层长期资源。公司可以雇人、签合同、承担法务、拿到算力,也可以把商业交付做成收入;社区则继续保留开放协作和外部反馈。前提是边界必须讲清楚,哪些东西属于社区,哪些服务由公司负责,哪些决策需要公开。6:50host第二个判断是,开源创业的商业模式不能只回答「代码怎么收费」。它要回答三件事:公司怎样让维护者持续投入,用户怎样获得比自建更确定的结果,社区怎样不因为商业化失去信任。7:07analyst如果这三个问题答不上来,融资越多,反而越容易把组织拖进矛盾里。投资人的钱能买时间,却买不来社区信任;公司能雇人,却不能替代所有外部贡献者。开源项目的商业化,本质上是把公共品的维护成本和企业客户的交付价值分开定价。7:26host游凯超对融资的说法也很克制。投资人在他们决定创业之前就已经持续关注,开源项目阶段也得到过资金支持。真正成立公司之后,他们并不是为了融资而融资,而是希望先做出足够值得融资、并且能够规模化扩展的成果。7:45analyst第三个判断进入技术层。今天的模型、硬件、推理引擎和工程实现,已经很难各自独立优化。游凯超用「发电」来比喻推理:Token 像电,模型像发电机,硬件像自然资源,推理 Infra 则像把电送到用户手里的电力系统。8:04host同样的硬件和资源,不同的模型结构、内存管理和调度方式,最后能交付的 Token 数量会差很多。推理引擎对外看起来只是一个统一接口,里面却要不断处理模型适配、硬件差异、批处理、缓存和延迟。8:20analyst他还谈到 Hardware Lottery,也就是硬件彩票。过去通用硬件性能不断提高,算法可以少考虑硬件细节;现在很多性能来自专用硬件和专门的系统实现,如果模型结构吃不到这些硬件的红利,就等于没有抽中这张彩票。8:38host他的例子是 Transformer。它适合并行计算,内部大量使用矩阵乘法,所以抽中了 GPU 的彩票。另一个例子是位置编码。FlashAttention 逐渐成为高效训练和推理的重要基础后,能够兼容现有实现的 RoPE 更容易被广泛采用;需要大改核心注意力实现的方案,就会面对很高的工程阻力。9:02analyst这里的重点不是说某个结构永远正确,而是模型论文里的优势要经过系统实现才能兑现。创业团队如果只盯着模型效果,可能会在上线时发现:显存不够,服务成本太高,硬件不支持,或者每次升级都要重写一遍基础设施。9:23host原节目还把工程实现和模型、Infra 放在一起讨论。它没有给 Harness Engineering 下一个独立定义,所以我们不把这个词扩写成新的理论。可以确认的判断是,模型如何使用工具、如何拆分任务,会改变推理引擎产生多少 Token;工程流程和推理系统,确实会互相影响。9:46analyst对产品团队来说,Code Design 可以落到一个很具体的动作:不要只把模型团队和平台团队分开验收。一起拿一个真实任务测,从用户输入开始,记录模型调用、工具调用、缓存命中、输出 Token、GPU 时间和最终完成率。只有这样,才能知道一次任务到底贵在哪里。10:08host第四个判断是成本。很多 AI 产品把 Token 当作主要成本单位,但游凯超认为,Token 增长和电力供给不能分开看。地球上的资源有限,算力有限,电力也有限,所以推理效率不会因为模型需求增长就自动变成次要问题。10:28analyst他用夏天用电高峰做比喻。需求增加时,发电厂不会因为大家用电更多就停止提高效率;相反,供给侧要提升生产效率,需求侧也要规划 Token 的使用。对 AI 产品来说,便宜模型、缓存、任务拆分和更好的 Harness,都可能是需求侧的节约。10:49host这对创业者的影响很直接。报价不能只按「每百万 Token 多少钱」来算,还要把显存占用、峰值并发、请求长度、等待时间、重试次数和人工复核算进去。一个看起来毛利很高的 Agent,如果每次任务都要反复调用模型,利润可能被隐藏的 GPU 时间吃掉。11:10analyst可以把单位经济模型改成「每个任务」而不是「每个 Token」。一个任务完成了什么,花了多少 Token,调用了几次工具,占用了多少 GPU 时间,最后带来了多少收入或节省了多少人工。这样才能判断你是在卖模型调用,还是在卖一个可交付的结果。11:30host他认为效率和效果不一定冲突。需求侧可以减少无效 Token,供给侧可以改进调度和推理;当 Token 不够用时,人们会研究怎样节省;当预算不够时,也会寻找更便宜的模型完成同一件事。11:46analyst这里也有一个限制。Token 和电力的类比能帮助我们理解资源约束,但不能直接当成财务公式。不同模型、不同硬件和不同业务的成本结构不一样,团队仍然要用自己的真实调用日志去测,而不是拿行业口号替代毛利表。12:02host把这期访谈收束成五个检查项。第一,你做的是一个论文里的方法,还是一个别人愿意长期部署的系统?请把真实工作负载、故障处理和升级成本放进产品定义。12:16analyst第二,你的开源项目有没有清楚的治理结构?贡献者能做什么,核心维护者能决定什么,版本出问题由谁负责,这些都应该在项目变大之前说清楚。12:29host第三,如果要公司化,公司带来的具体增量是什么?是稳定的人力,是更强的算力,是能签下复杂合同的法务能力,还是能把部署结果交付给客户的服务团队。不要只因为融资机会出现,就把公司当作默认答案。12:47analyst第四,模型和平台团队有没有共同对一个任务负责?把模型效果、延迟、显存、Token、工具调用和完成率放到同一张评估表里。否则每个团队都能说自己的指标很好,用户却仍然觉得产品慢、贵、不能用。13:06host第五,你的成本表有没有从 Token 延伸到电力和任务结果?至少做三种场景:请求量增长、模型调用变长、峰值资源变贵。每种场景下,客户价格、服务质量和现金流还能不能成立。13:22analyst游凯超在访谈最后给了一个个人判断:开源模型最终可能会赢,因为模型需要被广泛使用,而广泛使用又会带来数据和迭代。这个判断当然还需要时间验证,但它对 Inferact 的选择很清楚:模型会不断变化,团队更愿意把资源放在通用推理基础设施上。13:43host这也是这期最值得带回团队的一点。不要把开源、模型和基础设施当成三种互相排斥的身份。真正的问题是,你能不能在开放协作里建立信任,在复杂系统里交付结果,再把长期维护变成一门能活下去的生意。14:02analyst本期根据张小珺第 148 期公开音频的完整转写完成二次精炼,不含嘉宾原声剪辑。完整音频和节目方视频入口都放在正文里,1.5 亿美元融资的外部确认也会列出。对原集里的个人预测和技术判断,建议回听上下文,不把它们当成已经验证的行业定律。14:25host这里是「七档 AI 创业者精选播客缩短版」。我们下期再见。