把内存搬到算力旁边

AI 跑不快，不是算力不够，是内存跟不上。Fractile 创始人沃尔特·古德温讲了他们为什么从 SRAM 转去 DRAM，以及流片那 3 到 5 个月为什么压不掉。12

按官方 10 段时间点整理，时间码是官方口径（全长 35:39）。本期出场两人：主持人萨拉·郭（Conviction 创始人、No Priors 联合主持），嘉宾沃尔特·古德温（Fractile 创始人兼 CEO）。12

口径说明：这一期绝大多数内容是嘉宾在节目里的表述，下面凡是公司口径（25 倍、150 人、每颗芯片 25 倍带宽）与人事履历（融资、学历、奖项），都在句子里标出归属；「节目中的说法」不等于第三方已核实。

这一期只请了一位嘉宾：全栈 AI 芯片公司 Fractile 的创始人兼 CEO 沃尔特·古德温。他是牛津大学机器人研究所博士，入选《福布斯》2025 年欧洲 30 岁以下 30 人（科技）名单；Fractile 之前，他想做的是「通用机器人大脑」——让机器不必做那么多功课就能变聪明。345

公司 2022 年夏天在英国成立，比 ChatGPT 还早几个月，一直只押一件事：把世界上最大的模型跑得很快。2024 年 7 月走出隐身状态时拿到 1,500 万美元种子轮；2026 年 5 月完成 2.2 亿美元 B 轮，由 Accel、Factorial Funds 与 Founders Fund 领投，参投方包括 Conviction、Gigascale、01A、Felicis、Buckley Ventures 与 8VC，融资时点在公司官网上是 5 月。678

关于速度，公司官网给的口径是「最高快 25 倍、成本十分之一」；这属于公司自己的说法，本期没有第三方复核。9

他把今天面向推理的加速器版图叫作一个「奇观」：可选项多，但芯片之间相似度极高。原因是一套结构性的行业范式——从十多年前谷歌用 TPU 开这个头，到 Meta 的 MTIA、微软的 Maya，再到 OpenAI 现在的 Jalapeno，这些自研芯片最终都是和数量很少的一批「ASIC house」合作开发并交付的，博通是其中最大的一家。他提到博通是一家两万亿美元的公司（这一句是他在节目里的说法，未逐字核对）。

相似落在三件事上：都是 HBM 这类 DRAM 内存，都在 tensor core 上做同一类矩阵乘法的押注，都用台积电的同一套先进封装。也正因为如此，真正从架构层一路做到物理设计、工艺技术和晶圆厂互动（那种要他每周在台湾和韩国之间飞的活）的团队很少。

他给了一段很具体的分工说明。架构师构想出 tensor core 这样的专用电路，凭的是一个很简单的观察：矩阵乘法占了这些模型浮点运算量的绝大部分。然后一批人把它落到电路级描述，也就是前端设计——机制上仍然像是在电脑上写代码。这些代码交给博通这样的公司，最后送到台积电的其实是一份叫 GDS2 的位图：金属层放哪儿，每一颗晶体管放哪儿。

在那一段里，复杂度落在两件事上：用于芯片间互连的模拟 IP 归谁所有，以及针对某个特定工艺节点（3 纳米、5 纳米这些）的物理放置。他说这一段到今天基本都外包出去。

他用管理哲学来打比方：很多行业先有瀑布式的做法，再被更敏捷的思路取代。芯片行业长期存在一个交接点——做到某个程度就交给伙伴，然后在某种程度上你要看那个伙伴怎么行事。Fractile 的选择是把前端设计、物理设计、后端实现、先进封装全放在内部，为此每个环节都很瘦：团队大约 150 人。

全栈还有一层用法：团队里有一部分人专门往前跑，看模型架构可以怎么改才更贴合他们押的那条 scaling law 向量，再把这个观点讲给客户和伙伴。这也是在一颗一两年后才量产的芯片上敢下注的前提。他把这件事的分量说得很重：在 AI 芯片这一行，比以往任何一种芯片生意都更需要把注押对，而你还得出手极快。

第一个赌注是方向。四年半前推理还不是一个被理解的词，他们花了大约两年给世界上课；今天有些推理芯片（包括最近刚上市的那家）在 18 个月前还是训练芯片。他很在意「边际成本」这个词的两种读法：它听起来像一笔小开销，真正的意思是这是你每一次部署这些模型都要付的钱。

第二个是架构路线。公司头两年做的是一颗像 Groq、像 Cerebras 的 SRAM 芯片：SRAM 带宽极高、和逻辑住在同一片硅上，计算和权重、KV cache 之间的带宽极大，能把语言模型推到每秒数千个 token。变化发生在 2023 年底到 2024 年——随着 AI 一起长大的除了参数量，还有上下文长度，而后者让 SRAM 的容量成了问题。

于是有了第三个押注：过去两年他们做「臭鼬工厂」式的项目，从 SRAM 挪开，和内存厂商、逻辑晶圆厂伙伴一起找对 DRAM 拿到极高带宽的路。结果是一个明年下半年开始放量的平台，把 DRAM 的可扩展性和 SRAM 那条路的速度合到一起。他还点了两个数字：要跑长上下文，快芯片还得倒回 GPU；而在数据中心规模上，经济性会塌缩成内存的每 GB 价格。

这一段的金句是他用福特的那句反问来打比方：人们会说自己想要的是更快的马，不是汽车。「更跟手的聊天机器人」就是快速推理里的那匹更快的马——真正给 AI 装上一部电梯的，是让那些长时间运行的 agent 变得快得多。

他承认这里有一个二元性：一边是物理世界和金融世界的极限，一边是以软件节奏翻新的工作负载。今天大概每两周就有一个新模型出来，所以清醒来自横着看——这些模型共同在呼求什么？答案是内存带宽多出几个数量级（它们往往自回归、batch 很小，永远夹在吞吐、成本与速度的取舍里）。而变化的、而且变化很快的是 attention 的形态：尤其看中国开源模型的前沿，稀疏度与机制每几周就换一次。

他把阿姆达尔定律搬到了组织上：能并行化的部分变得非常非常快，不能并行化的部分不会。如果你把前端设计从 12 个月压到几周，而后面每个环节还是老节奏，激进改造流程的回报就不一定压倒性了。行业里天生的延迟包括：从把芯片发给晶圆厂到拿回来，即使走「超热批」也要 3 到 5 个月；以及一颗芯片需要 3 到 5 年的摊销窗口才是一笔合理的财务决定。

所以他说了两件互相冲突、但都成立的事：把整个设计周期一压再压确实价值巨大；架构上的押注仍然要极其深思熟虑，因为做出来的芯片要有三年以上的寿命。他也不相信「每几周就交付一颗根本性新芯片」——电力有约束，安装有延迟，硅要融资。真正的价值在缩短那道缝：从一个观察，到这个押注在量产上实现。压缩周期买到的是「更多次射门」；而如果在任何时刻都有一条滚动的押注前沿、并且你随时能触发其中一个的量产，就等于年复一年地切出六个月的领先——他说，能结构性切出 3 到 6 个月，就会赢下所有这些部署。作为对照：拆开一套英伟达的系统，里面有六到九颗英伟达自己造的定制芯片合在一起，而 Fractile 今天在努力做的是一颗。

他问过业内一位顶级半导体 CEO 一个问题——从首席架构师的意图，到一份完全可用的 GDS2 文件，还要多久？对方不让他把这句话播出去，答案是 10 年。他自己的习惯是「把时间假设除以四，再减掉一点」，所以他会把 10 年压到两年半以内；他的判断是接下来几年会出现能端到端跑通原型的环境。

理由和 RSI 是同一道题：智能已经能指导实验了，但人现在被实验本身卡住、被算力时间卡住。芯片设计也一样——今天要输出那份 GDS2，仍然要跑一堆布局工具用常规算法做 place and route，一跑好几天，这些还是「NP 难问题的常规解法」。

他划了一条边界：最终签核那一步短期内不会变。和台积电及其他晶圆厂合作了几十年的 Cadence 与 Synopsys 做出最后那个勾（DRC 与 LVS clean），那份工作在那里价值巨大。但中间那一段——比如一个模糊的布局算法，让你更快接近最终 tapeout——恰恰是人们该做更多工作的地方，因为否则那里就是瓶颈。这类工作的回报还因为阿姆达尔定律而变大：智能越快，试验与试验之间的间隔就越成为瓶颈。他引了最近在 Dwarkesh 的节目上听到的一个说法：也许你该先想上一百年再打出那次实验，然后再对结果想一百年——因为中间那次实验很贵，要花掉墙钟时间。

他们的工作负载押注里最硬的一条数字是：每颗芯片的带宽做到 HBM 芯片的 25 倍（这是他的口径，公司官网的说法是「最高快 25 倍、成本十分之一」）。9

更重要的是由此长出的想法。今天所有模型都会在基于 HBM 的 GPU 或 XPU 上训练——他把它叫「硬件彩票」——所以要造的芯片得两头都占：既把今天的自回归 Transformer 跑得更快更省，又能靠新能力去探索能不能产生某种引力，把新的模型版图拉过来。他举了两个已有迹象的「带宽的 scaling law」：一是混合专家模型，同等智能下把稀疏度从六分之一做到 1/128、1/256 能省下大量浮点运算，但在今天的 HBM GPU/XPU 上高效服务这些模型会撞上带宽墙、MFU 极低；二是 attention，有些形式不吃带宽但更吃算力。

他给的一对数字是这一段最值得记下的：过去 20 年我们把浮点运算规模扩大了一百万倍，而同期内存带宽只增长了大约 40 倍。把带宽这条前沿抬起来，就能省下为达到某个智能水平所需的浮点运算，这对全球吞吐是一种多重叠加的因子。萨拉把「这是否改变人们训练的方式」那句问句咽了回去。

对「五年后大型 AI 玩家会买什么芯片」这个问题，他的观察是：所有在规模化部署的人都在尽量多铺几套平台，因为当算力变得如此具有生存意义时，供应多样性会一直是真实需求。他还讲了一个笑话：第一方自研努力的主要用途是压低大家付给英伟达的价格；他说这可能也有些真实性，因为那些努力在架构上相当相似，并不是在解锁别家芯片无法解锁的根本性能力——那是博弈、产能和一点控制权。

他认为真正的分水岭在「带来新能力的芯片」：每一个想在前沿部署 AI 的人，都必须有某种把模型跑快几个数量级的方案。前沿实验室有一段溢价能力、溢价智能的窗口，那就是他们全部的存在理由——「否则我们所有人都会一直用 Kimi 的模型」；身后有开源的压力，前沿玩家就越需要把最好的权重和最快的部署都握在手上。

他常要回答的问题是：为什么几十年尺度上，世界会容得下前沿的第三方芯片玩家？他的答案是所有前沿玩家都必须玩的那种不对称博弈。他给了一个很具体的死亡场景：假设我在某种自研硅上全押了，然后对手发现了一个新的计算突破，同等智能下效率好得多，但它只能在对手决定部署的那颗芯片上跑——我可能在我部署足够多那颗芯片之前就死掉了，而它本来能让我也拿到那 5 倍。结论是：这些公司实际上有非常迫切的需求，要部署彼此相同的平台；而抱着深度差异化的押注并全押上去，对任何在前沿玩的人来说都是不理性、而且非常危险的。

这一期没有谈模型能力的天花板，只谈了一件事：当智能不再稀缺，稀缺的会是让它跑起来的那块硅。

需要说明一层关系：Fractile 2026 年 5 月这轮 2.2 亿美元，参投方里有 Conviction，也就是本期主持人萨拉·郭自己创办的投资机构；节目的官方单集说明里没有提这层关系，整期对话里也没有人提到它。710

底稿是官方视频的完整英文字幕（覆盖整集 35:39）。逐句直译，只保留中文译文，不压缩、不摘要、不删减，每一轮都保留说话人标签——沃尔特（嘉宾沃尔特·古德温）／萨拉（主持人萨拉·郭）／片头（节目开头那段预告口播，同样的内容在正片里也讲了一次）。节目结尾的订阅提示不属于对话，未列入。12

片头：现在我们正在努力做的是造好一颗芯片。如果你拆开一套英伟达的系统，里面有六到九颗英伟达自己造的定制芯片，合在一起做出一个非常非常强的东西。所以已经有一个差距在那里。如果能高效到我们可以开始用同样的方式搭自己的回应，那就太好了。在任何给定时刻都有一条滚动的押注前沿、你希望它们彼此深度对齐、而你已经准备好触发其中某一个的量产——如果你能造出那台机器、那台引擎，这是巨大的优势。对芯片领域来说，这相当于前沿模型：如果你能找到一种结构性的办法，稳定地切出 3 到 6 个月的优势，你就会赢下所有这些部署。

萨拉：各位听众，欢迎回到 No Priors。今天和我在一起的是全栈 AI 芯片公司 Fractile 的创始人兼 CEO，沃尔特·古德温。我们聊了作为一家公司「全栈」意味着什么、他们正在下哪些技术押注、他为什么如此专注于内存带宽、他对未来前沿模型架构的预测，以及今天和明天前沿芯片市场的结构——英伟达、AMD、各家自研努力，以及这个新的加速器品类。欢迎你，沃尔特。沃尔特，非常感谢你来做客。

沃尔特：很高兴来这里。萨拉。

萨拉：你创办了这家非常有意思的公司，叫 Fractile。你能给我们一个概览，讲讲你们到底在做什么吗？

沃尔特：Fractile 是一家芯片公司。我们为世界上最大的模型造非常非常快的推理芯片。这种对速度的押注，是我们从最初就有的。公司在 2022 年夏天成立。当时我觉得我们开始看到两件事：一件显然是基于互联网训练、并且能泛化到一切的基础模型的到来；另一件是，一些有智慧的人说，我们得找到办法在测试时往这些模型里灌更多算力。我们要找到办法，把当年 AlphaGo 那种情形——你有一个有能力的神经网络，但当你在规模上把它滚动展开，它就变得超人——带到语言建模这样的领域。所以过去四年我们最大的追求，就是找到一种造芯片的办法，让我们能同时把这些巨大的模型跑得比今天的芯片快得多得多，而且要以一种可扩展的方式做到：扩展到超越今天前沿的模型，扩展到极长的上下文。这就是我们一直在走的使命。

萨拉：从你创办公司到现在这四年，芯片的格局变得有意思多了。在整个面向推理的 GPU 与加速器版图里，你把自己放在哪儿？

沃尔特：是啊，现在可供选择的方案简直是一个奇观。把整个 AI ASIC 领域横着看一遍，我觉得特别扎眼的一点是：市面上有大量芯片其实长得差不多。这是一种结构性的行业属性——尤其是看超大厂的那些自研努力，从十多年前谷歌用 TPU 开这个头开始，你能看到这样一套范式：虽然自研芯片确实不少，谷歌的 TPU、Meta 的 MTIA、微软的 Maya，OpenAI 现在的 Jalapeno，但这些芯片最终都是和数量相对很少的一批、我们叫 ASIC house 的公司合作开发并交付的——就是那种后端交付的厂子。博通是其中最大的一家，一家两万亿美元的公司，帮别人把这些设计变成现实。所以当你凑近看这片看似「富得流油」的现状，会发现这些平台之间其实有大量相似之处。它们都有 HBM，这种 DRAM 内存，英伟达的 GPU、AMD 的 GPU 以及所有别的 ASIC 都用它；都有同一类关于 tensor core 的押注，用来做矩阵乘法；都使用同样的先进封装，跟台积电做。所以我认为在这片版图里能看到的一件事是：真正从硅栈的最上层一直打到底层、试图做出根本性新能力的团队，相对来说仍然很少。这是结构性的——没有那么多团队决定说，我们要从架构层、从前端设计层开始做（那主要看起来像是在写代码），一路做到我们说的物理设计、工艺技术、和晶圆厂的互动，那种基本上要你每周在台湾和韩国之间飞来飞去的事情。这块实际上仍然留给了数量很少的公司。

萨拉：对不在芯片行业里的人来说，架构导向的公司和博通这样的公司之间，那个共同的抽象层或者说交接点是什么？

沃尔特：好的。假设你是谷歌，你在设计 TPU，你团队里有一些人对他们想要加速的工作负载理解得非常深。往回看十多年，这就会让你构想出 tensor core 这样的东西——它是一个由架构师构想出来的专用电路，特别擅长做矩阵乘法，因为你有一个洞察：矩阵乘法占了这些模型浮点运算量的绝大部分。这大概就是架构师的领地：他要真的懂芯片是怎么运作的，同时最好对目标工作负载有非常强的理解。接下来你在同一个组织里会看到一批非常聪明的人，把它往下落实成一份基本上属于电路级别的描述，说明这颗芯片应该怎么工作。这很大一部分就是我们说的前端设计。从机制上看它仍然像是在电脑上写代码，而这些代码最终会交给博通这样的公司。那份描述芯片底层意图、底层逻辑的前端设计，最终会被转换成一个东西——最后送到台积电的其实是一份位图。我们有一种文件格式叫 GDS2，它就是在说：金属层放哪儿，每一颗晶体管放哪儿。那是一份完整的版图。所以你会经历一个把 RTL 综合成一组电路、再把它布出来的过程；那里面的很多复杂度在于——在博通的例子里——它是用于芯片间互连的模拟 IP 的所有者，以及这种针对台积电某个特定工艺节点的物理放置。我们说的 3 纳米、5 纳米等等就是这个意思。所以到今天为止，这一段对所有这些项目来说，基本上都是一项外包出去的工作。

萨拉：你描述的是一个从头到尾做一颗新芯片的、感觉非常庞大的工程。从工作负载的角度，你在和好几家前沿玩家合作，去刻画这些负载、确认你能服务它们。你怎么想 Fractile 今天这支队伍长什么样？作为一家创业公司，你怎么可能做到这件事？

沃尔特：是的。有意思的是，很多行业都先有一套瀑布式的做法，然后突然冒出一种新的思路，变得更敏捷——借用一下管理哲学的说法。对我们这样一家非常全栈的公司来说，我们有一支团队覆盖很深的工作负载理解；我们其实在很多地方试着往前跑，去看我们会怎么改一个模型架构，让它更贴合我们所下的赌注；我们认为针对我们押的那些注，scaling law 的向量是什么。然后我们能把这件事讲给客户和合作伙伴听，它也反过来帮我们想清楚：为一颗一两年内还不一定会量产的芯片，该下哪些注。这会成为我们必须练出来的一块很重要的肌肉。但再看这种快速转一圈的能力，它的意思是：在 Fractile 内部，我们有自己的前端设计工程师，有自己的物理设计团队，有自己的后端实现团队，比如先进封装也是我们自己做。这并不需要很多人——Fractile 今天大约 150 人，我们在每一个环节上都挺瘦的。但它让我们能有一个敏捷得多的闭环。而且我觉得，当你看这个行业定下来的节奏要求时，这件事正变得越来越不可缺。你是在长年追着工作负载的尾巴跑；在 AI 芯片这个领域，比以往任何一种芯片生意都更需要把注押对。所以你需要很多本事、很多运气，然后还得出手极快。这种把整个故事都放在家里的结构性安排，和以前那种几乎存在一个交接点的做法非常非常不同——你做到某个程度，就交给另一个伙伴，然后在某种程度上，你就要看那个伙伴怎么行事了。

沃尔特：对我们来说，我想第一个是方向。四年半以前，你显然正处在推理这个故事的心脏位置，但在那之后大约两年里，我仍然觉得我们是在给世界上课，解释推理到底是什么意思。今天有些推理芯片——包括最近刚上市的那家——在大约 18 个月前还是训练芯片。当时人们真的在回避这个想法：那种很小的、最终的边际成本——marginal cost 我觉得有两层意思，它听起来像是一笔很小的开销，但它真正的意思是，这是你每一次部署这些模型都要付的钱。所以首先，就是我们下的那个赌注本身：我们会滑进一个部署时代；以及对速度的押注，它真正塑造了我们后来作为架构回应的很多东西。

沃尔特：在架构这一侧，我们走过了一段旅程。公司头两年左右，我们做的是一颗有点像 Groq 或者 Cerebras 的、基于 SRAM 的芯片。我们当时的观察是：SRAM 是一种带宽超级高的内存，它和你的逻辑住在同一片硅上。于是，你在跑这些模型时做数学的计算单元，和你模型的权重、或者说滚动推理时的 KV cache 之间，就有极高的带宽。这能把语言模型推到每秒数千个 token。但我觉得，到 2023 年底、特别是在 2024 年，我们开始担心的一件事是这种做法的可扩展性。今天随着 AI 一起长大的东西有两个：一个是模型的参数量；另一个——也是真正让我们对这种架构路线紧张的那个——是不断增长的上下文长度，它在我们设想这些模型如何落地的故事里，占的分量越来越大。

沃尔特：正是这一点，在过去几年把我们带向了一个我们认为某种程度上更令人兴奋的赌注：更紧密地和内存厂商、以及我们的逻辑晶圆厂伙伴合作，找到办法以极高带宽去访问容量更大的内存。所以过去这几年我们一直在做这类「臭鼬工厂」式的项目，从 SRAM 上挪开，去看我们怎么才能对 DRAM 内存拿到高得多的带宽。这对我们来说是个非常令人兴奋的赌注，因为它让我们现在能攒出一个平台，明年下半年开始放量——它把 GPU、TPU 上那种容量更大、成本更低的 DRAM 内存的可扩展性，和 Groq 芯片、Cerebras 芯片带来的全部速度优势，合到了一起。

沃尔特：我们认为这件事尤其关键的地方在于：如果你看今天速度真正在哪里改变局面——有这样一个版本，就是「更跟手的聊天机器人」。但这有点像亨利·福特问的那个反问：人们会说自己想要什么？更快的马，而不是汽车。「更跟手的聊天机器人」就是快速推理里的「更快的马」。在我们看来，能把一个数万亿参数的模型舒服地跑到每秒数千个 token，真正给 AI 能力装上一部根本性电梯的地方，是让那些长时间运行的 agent 变得快得多。

沃尔特：所以今天有一种诱人的错配：我们手上的快速推理芯片，内存带宽超级高，容量却低得离谱。而如果你看它们今天实际被用起来、部署起来的技术细节，它们并不跑长上下文的 attention——那件事你还得倒回 GPU 去做。于是就有这种诱人的错配：恰恰是我们几乎能拿这些芯片去大提速的那个领域，我们反倒没有那个技术能力。

沃尔特：所以在某种意义上，这件事——像很多技术挑战一样——归结到一个多少有点平淡的技术观察：我们需要这样的芯片，它有一种难以言说却特定的性质，即对内存的带宽极高，高到我们能每秒几千次地加载权重、加载这些状态；但同时它还得有经济的容量。因为当你去看以数据中心规模、为成千上万用户跑推理时是什么样子，经济性其实会塌缩成一件事：你所使用的内存每 GB 的成本。所以另一个关键焦点，就是去解锁这样一个全新的积木块——找到一条路，从世界上成本更低的那种内存、DRAM 内存上，拿到极其激进的带宽。

萨拉：你说过几件我觉得不属于主流共识的事。一是你们自己在押注工作负载要往哪儿走；二是这个想法——你知道，传统做芯片的人可能认为芯片是一代一代交付的。

萨拉：你知道，每年或者稍微快一点，而大的架构变化比这个节奏更慢。但你在 Fractile 内部很有野心地讲过，你认为架构变化的速度、你所做技术押注变化的速度，可以比那快得多。你能谈谈是什么能让这件事发生吗？因为我觉得今天人们对供应链的物理极限比过去理解得更好了。那么这个行业能有的灵活性是什么？

沃尔特：是的，这上面有一个细微之处。在任何给定的时刻，你对一颗 AI 芯片的期待是：你希望手上现在就有一颗粒子级地瞄准你在意的那份工作负载、并且已经量产的芯片。但如果你有了那颗芯片，你知道，六个月之后你又会想要别的东西——这些工作负载走得太快了。

萨拉：嗯，今天我们大概每两周就有一个模型出来。

沃尔特：没错。所以清醒来自横着看这些模型，然后说：好吧，它们共同的东西是什么？谢天谢地，共同的部分足够多。比如一颗新的大模型永远都极度渴望内存带宽多出几个数量级，好跑得更快。今天依然如此：这些大语言模型在生成文本时往往是自回归的、batch 非常小，而且永远存在那个根本性的取舍——吞吐效率与成本，和你服务这些模型的速度之间的取舍。所以有些事情是所有模型都在齐声呼唤的，内存带宽就是其中之一。但正如你说的，也有这些演化：特别是如果你看中国开源模型的前沿，attention 机制的确切性质每隔几周就会翻一遍——前沿是什么、稀疏度是多少、attention 本身的稀疏化程度。而且我们可能还会遇到更大的冲击，可能有更根本的转变。

沃尔特：所以我觉得这里存在一种二元性：一边是物理世界和金融世界的极限，另一边是这些以软件节奏翻新的工作负载的需求。虽然有这种明确的愿望，想极大地加快新平台的交付，我觉得上面也有些根本性的刹车。所以在 Fractile，我们对「用 AI 优先的方式做芯片设计」这件事极其兴奋；我们看到，能够拥有端到端全部环节，真的让我们可以对自己的做法做一次根本性的重新思考。你想想经典的计算机科学定律，比如阿姆达尔定律：我能并行化的部分变得非常非常快，而不能并行化的部分则不会。当你在一条很长的组织链里时，我觉得也是类似的：如果你作为一家前端导向的芯片设计创业公司激进地采用 AI，把时间线从大概 12 个月的前端设计工作压缩到其中的一小部分，而后面那些环节仍然是常规的瓶颈和常规的节奏，那么激进改变流程的必要性、或者说回报，就不一定有那么压倒性了。

沃尔特：我觉得在某种程度上，这些瓶颈永远都会在。我们和晶圆厂伙伴的流片周期是一样的：从你把芯片发给他们，到拿回来，即使走「超热批」，也要 3 到 5 个月。所以这些可以说都是行业里天生的延迟。而当你拿回那颗芯片，我认为很关键的一点是去看这些芯片究竟是怎么变成可融资的资产的——它们确实有一个回本周期。你得有一个真正 3 到 5 年的摊销窗口，这颗芯片才是一笔合理的财务决定。

沃尔特：所以这里有这样两件事，我相信两件稍微互相冲突的事同时成立。一是：能把整个芯片设计周期一压再压，价值巨大。另一件我认为我们不会丢掉的，是要在架构上做出非常深思熟虑、非常微妙的押注，因为你最终做出来的那颗芯片仍然需要三年以上的有效寿命。

沃尔特：所以对我来说，能随着时间把芯片设计周期压缩，本质上意味着你能有更多次射门机会。你会希望永远准备好，看着某个旗舰平台说：「对，就是它，这才是旗舰，这就是我们要放量的那颗」——然后那是一个 12 到 18 个月的上量爬坡。你期待它有长寿命，期待它真的持续给客户创造价值。

沃尔特：所以我觉得这里的微妙之处是：我并不相信我们最终会走到「每几周就交付一颗根本性新芯片」的地步，仅仅因为我们把周期缩短了——因为这是一个物理世界。数据中心的电力有一定约束，安装这些设备有延迟，而你得为底下那片硅融资。所以它必须有那个回本周期。但我认为你能到达的，是这样一个世界：你越能缩短那个延迟——从观察到一个变化，到把这个押注在量产上实现之间的那道缝——那里就有巨大的价值可被捕获。

沃尔特：而且我觉得这恰恰也是 Fractile 所在的位置。

萨拉：哪怕只是因为：你对「该放量哪个」做出的决定是对的。

沃尔特：没错。我觉得你会想要——也许还能同时烧着更多炉子。你知道，AI 能力上升让我觉得如此兴奋的一件事是：当我们做事变得更有效率时，整个经济里显然有两种反应。一种是：天哪，我们没那么多事可做了，可能会有人失业。另一种是：我们能做更多的事。而站在 Fractile 这里，今天我们在努力造好一颗芯片，我们知道对手是什么样的——你拆开一套英伟达的系统，里面有六到九颗英伟达自己造的定制芯片，合在一起做出一个非常非常强的东西。所以已经有一个差距在那里。如果能高效到我们可以开始用同样的方式搭自己的回应，那就太好了。

沃尔特：所以我完全能想象，在任何给定时刻都有一条滚动的押注前沿，你希望它们彼此深度对齐，而你已经准备好触发其中某一个的量产——如果你能造出那台机器、那台引擎，这是巨大的优势；还有它可能年复一年给你的、相对竞争对手的那六个月的领先。这就是让你能切进去的那个楔子。在前沿实验室身上我们也看到这一点：芯片领域的「前沿模型」，就是如果你能找到一种结构性的办法，稳定地切出 3 到 6 个月的优势，你就会赢下所有这些部署。

萨拉：这里某个地方有一个段子：某位 CEO 说，「哇，AI 这东西太棒了，我们把组织架构成能消化它的样子——不要一个项目，我们要六个人，然后大家一起欢呼。」

沃尔特：对，我觉得这里面有一些真实性。我之前和三位顶级半导体 CEO 之一聊过。

沃尔特：他不让我把这个预测真的播出去，但我问他：从首席架构师的意图，到一份完全可用的 GDS2 文件，还要多久？他说：10 年。

萨拉：这不会发生吧，现在就……你怎么看这件事？或者在你的组织里，你会最先在哪儿看到这种影响？

沃尔特：过去几年一个一直很管用的启发式是：永远质疑你自己那个逻辑假设，然后在时间尺度上把它除以四。所以有一个世界，10 年看起来是一个非常合理的时间框架，但我会除以四，而且我大概还会再从里面减掉一点。我认为在接下来几年里，我们会有一个能端到端跑通原型的环境。芯片设计一件很有意思的事是：中间仍然有一些环节，是解决 NP 难问题的常规解法。所以如果你今天真的想输出那份 GDS2 文件，你仍然要跑过一堆布局工具，用常规的算法去做 place and route，一跑就是好几天。我觉得我们看到这件事非常有意思——而且把它拉回到我们兴奋的那些工作负载上：世界上很多难题看起来都有点像这样，有很多思考可以被自动化，有很多脑力劳动；但与此同时，你做的某件事本身有一种内在的延迟。

沃尔特：所以今天在「用 AI 指导 AI 模型开发」这件事上我们就能看到这一点。RSI 的工作：是的，我们现在可以有一个极高的智能来指导我们的实验，但现在我们只是被实验卡住了，被算力时间卡住了。所以芯片设计有点像这样——把「架构师的意图走到 GDS2」这个问题，有点像 RSI 那个问题：真正会阻止我们极快到达那里的，是这个流程里有一些东西确实是以更常规的方式在计算上极其昂贵的。

萨拉：而且这些东西不会被替代模型取代。

沃尔特：我认为显然有这类仿真模型在驱动近似计算——我们今天看到的用于有限元分析、热估计之类的所有模型。我认为那类工作的回报巨大，正是因为这条阿姆达尔定律：当我们把智能加速、把实验与试验之间的间隔加速……

萨拉：它们就成了瓶颈。

沃尔特：……那么加速那些试验本身也变得重要得多。所以我们在内部看的是：那些算法肚子里到底是什么？有没有一种粗糙的近似做法，能让你更快地做完其中一部分？我认为芯片设计在相当长一段时间内不会在最终签核那一步改变。有 Cadence 和 Synopsys 这些和台积电及其他晶圆厂合作了几十年的公司，来做出最后那个勾——我们说的 DRC 和 LVS clean，也就是这东西符合晶圆厂定下的规则——是极其宝贵的。那份工作在那里价值巨大。但与此同时，你能不能有一个模糊的布局算法，让你更快地走到接近最终 tapeout 的位置、帮你更快迭代？我认为那恰恰是人们应该做更多工作的地方，因为否则那里就是瓶颈。

沃尔特：另一部分——我觉得对 RSI、对 AI 实验来说也是如此——是当我们的智能水平、也就是驱动实验的那份思考的水平越来越高，而实验因此成为瓶颈时，我觉得我们要做更多的思考。这大体上就是 Fractile 的工作负载押注，也是我们对难题如此兴奋的原因，也是我们视 Fractile 为那颗带我们走向「普遍加速难题求解」的芯片的原因：我觉得这几乎成了一种道德上的责任——在你每一次打出去的实验之前，想得更用力一些。我记得最近可能是巴伦·米利奇在 Dwarkesh 的节目上说：也许你应该先想上一百年，再打出那次实验；然后再用这些模型、以人类等价的方式，对那次 AI 实验的结果再想一百年。因为中间那次实验相当昂贵，要花掉一定的墙钟时间。所以我认为在芯片设计这类事情上也会到达那里——对那些更常规的算法来说，存在根本性的墙钟时间瓶颈。在我们去摆放某个电路之前，我们会生成大量的推理 token。

萨拉：你在做工作负载的押注，然后和设计伙伴紧密合作，希望在模型架构的转变上稍微提前一点，好让你真的能做规划。你现在看到什么？

沃尔特：我们正在做的最大的事，当然就是这种对速度的追逐，也就是把内存带宽最大化，好让这些模型跑得更快。而我认为，作为一家芯片公司，你必须跨越的一种二元性是：造出一样东西，既要对即将到来的那一大批工作负载极其擅长——在「硬件彩票」这个想法之下，这些模型会在基于 HBM 的 GPU 或 XPU 上训练；所以，这颗芯片特别擅长把今天的自回归 Transformer 跑得快得多、高效得多，这是件好事。但我认为，造一颗具备根本性新能力的芯片，令人兴奋的地方在于：你因此也可以去探索，因为那些性质，你自己能不能产生某种引力，把新的模型版图拉过来。

沃尔特：所以对 Fractile 来说，有这样一个想法：每颗芯片的带宽是 HBM 芯片的 25 倍。我们因此可以在内部探索类似「带宽的 scaling law」这样的东西。基本上，传统上我们想 scaling law，想的都是浮点运算的 scaling law：在训练和测试时，我们往这些模型里灌的 flops 越多，表现就越好。而如果你去看今天已知的那些想法版图，我们已经能看到一些带宽的 scaling law。一个是混合专家模型：大家都知道，理想情况下我们应该让它们越来越稀疏。所以在同等智能水平下，如果你从六分之一的稀疏度做到 1/128、1/256，你会省下大量的浮点运算。但这么做的一个挑战、一个逆风，恰恰是：在今天的 HBM GPU、XPU 上高效地服务这些模型会变得极其不划算。你往往会受限于带宽，服务时的 MFU、也就是浮点利用率会非常低。

沃尔特：所以存在这样的领域：即便你是在为今天的世界造芯片，你也可以去看能在哪里解锁更大的能力。今天的大语言模型在 attention 上其实非常类似。有一些形式的 attention 不那么饥渴于带宽，但在给定智能水平下它们更饥渴于浮点运算。所以我觉得我们兴奋的一件事是：当我们把内存带宽这个另外的品质抬起来——它在最近这些年的芯片上其实没怎么被扩展过。过去 20 年我们把浮点运算规模扩大了一百万倍，而同期内存带宽只增长了大约 40 倍。所以当你在那条前沿上做扩展时，你就能省下另一种东西。我们就能减少为了达到某个智能水平而在这些模型上使用的浮点运算量。所以这对这些模型的全球吞吐来说，是一种多重叠加的因子。

萨拉：我要忍住不问你，这件事会不会改变人们对「现在该怎么训练」的想法。

萨拉：最后问你一个关于市场结构的问题。对我来说非常不清楚的一点是，五年之后，一家大型 AI 玩家、或者一家超大厂，会在英伟达和 AMD 这些公司之间、在这个新的加速器品类里，买什么、消费什么样的芯片。而且至少四家这样的玩家有自己的内部努力。你怎么理解这件事？

沃尔特：我认为今天我们看到的是一种行为：所有在规模化部署的人，都在尽量部署尽可能多的、彼此分离的平台。我认为有一件事会保持不变：当算力对这些玩家变得如此具有生存意义时，供应来源的多样性会是一种真实的需求。今天有个笑话：那类第一方自研努力，它们的主要用途是压低大家付给英伟达的价格。这里面可能也有一些真实性，因为那些努力在架构上相当相似，对吧？所以那不是一个「解锁别家芯片无法解锁的根本性能力」的押注。所以那里是某种博弈：我们能不能在这边自己造一些，或者我能不能从 AMD 买点东西，好让英伟达给我一个更好的价格，等等。同时也是一种为了总体产能、以及一点控制权的打法。

沃尔特：我认为，当你看到事情推进到那些真正带来新能力的芯片时，那就是一个地方——我突然为我正在做的事看到一种真实的需求：每一个想在前沿部署 AI 的人，都必须有某种把模型跑快几个数量级的解决方案。对前沿实验室来说，有一段溢价能力、溢价智能的窗口，那就是他们全部的存在理由。否则我们所有人都会一直用 Kimi 的模型。所以当你身后确实有来自开源的压力时，对那些想在前沿部署的人来说，拥有这件事的每一个方面显然变得更重要的：有最好的模型权重，但还要有最快的部署，这样你才能在最短的时间里做最多的推理。

沃尔特：所以我认为芯片产业里这个「溢价端」——你在那里把所有东西都让位给速度——会成为这个世界里非常重要的一部分。我认为一件事值得注意，就是芯片供应商和前沿实验室之间的那种动态。如果你看 Fractile，我们尽量和前沿的需求对齐，我们也尽量让自己看起来有点像那些团队——我们有人真的在深入思考这些工作负载等等。所以我认为我们有时需要提出的一个论点是：解释我们为什么相信，在几十年的尺度上，这个世界会容得下某种前沿的第三方芯片玩家；为什么这件事不会干脆都收进那些实验室里？我认为这归结为所有实验室和前沿玩家都必须玩的那种不对称博弈：如果他们在一场硬件押注上全押，他们就会暴露在巨大的风险之下。

沃尔特：假设我是实验室一号，我在某种自研硅上全押了；然后实验室二号发现了一个新的计算突破，在同等智能水平下带来好得多的计算效率，但它只能在二号决定部署的那颗芯片上跑。我可能在我部署足够多那颗芯片之前就死掉了——而那颗芯片本来能让我也拿到那 5 倍的计算效率。所以这些公司有一个非常迫切的需求：实际上部署彼此相同的平台。他们在玩不同的游戏，对吧？他们现在想竞争的地方是中间层。我认为，抱着深度差异化的押注、并全押到那些差异化押注上，对任何在前沿玩的人来说，都是一种不理性、而且非常危险的动作。

萨拉：好的，我觉得这是一个很好的收尾位置。非常感谢你，沃尔特。

沃尔特：非常感谢，萨拉。

萨拉：在推特上找我们：No Priors Pod。如果你想看到我们的脸，订阅我们的 YouTube 频道。在 Apple Podcasts、Spotify 或者任何你收听的地方关注这档节目。这样你每周都会得到一期新节目。也可以在 no-priors.com 订阅邮件，或者找到每一期的完整文字稿。