E251｜推理芯片之战：Groq、Cerebras 与 OpenAI 三条路径，和 Bill Dally 的芯片设计哲学：完整逐字稿和精华摘要

节目定位

这期节目讲了什么

嘉宾的几个判断

训练看算力，推理看带宽

• 训练阶段无法用训练本身收回成本，大家追求的是最强集群；推理阶段每一百万 token 的收入与成本都能算清楚，所以系统目标从极致性能转向性价比（约 04:46—05:44，Mark）。
• prefill 阶段一次读完模型就能并行处理整段输入，算力吃得满；decode 阶段每产出一个 token 都要重新读一遍模型权重，带宽成为瓶颈（约 06:34—07:05，Mark；07:15—07:36，徐子扬）。
• GPU 靠批处理摊薄读取成本，把上万用户的同一位置 token 一起算，单用户的等待时间因此被同批用户拉长（约 09:19—09:54，Mark）。

SRAM 路线：用容量换带宽性价比

• 三种存储的距离不同：DRAM 便宜但离得远，HBM 搬到计算芯片旁边、容量大速度快但贵且全球产能紧张，SRAM 能直接做进计算芯片，最快，但同样数据占用的面积是 DRAM 的几十倍到上百倍（约 14:13—15:13，泓君）。
• SRAM 每块钱买到的带宽比 HBM 高两到三个数量级，代价是容量低约两个数量级，所以必须把系统做大，把通信调度变成设计的一部分（约 17:25—18:14，Mark）。
• 两位嘉宾的方案是单颗芯片放几百 MB SRAM，而一个量化后约 1TB 的模型需要上千颗芯片组成网络，让每颗芯片的 SRAM 带宽都被用起来，把连接本身做成不成为瓶颈的拓扑（约 37:29—38:40，徐子扬）。

Groq 和 Cerebras：两种解决通信瓶颈的方式

• Groq 把计算与通信的调度全部提前到编译期，用确定性替代运行时调度；Cerebras 把一柜子芯片压进一片晶圆，缩短物理距离（约 18:24—19:13，Mark）。
• Groq 的确定性建立在对未来的静态假设上，MoE 让每个 token 在运行时挑选专家，静态方案要么把所有专家都送过去造成空转，要么换一个切分维度，而后者很难把现在的模型切得干净高效（约 19:34—21:02，徐子扬）。
• Cerebras 的良率问题被 Mark 用开模类比解释：流片成本可以靠出货量摊薄，但一整片晶圆只要坏点超过阈值就作废，这部分成本直接落在每一颗产出的芯片上（约 25:35—28:04）。

英伟达为什么买 Groq

• Mark 认为原因在于推理带来的新带宽需求 GPU 架构不好解决，而英伟达内部并不缺相关研究，缺的是把研究变成产品的路径（约 32:38—33:53）。
• 这笔交易在公开报道里以「非独家技术许可 + 核心团队加入」的形式呈现，金额约 200 亿美元，是英伟达历史上最大的一笔。4

「推理时代 CUDA 一定会被绕过」

• 徐子扬的判断是绕过 CUDA 会百分之百发生，理由很具体：只要把 Transformer 里的算子在新芯片上写出来，商业逻辑就跑通了，而这件事如今还有 AI 帮忙加速（约 34:16—35:22）。
• Mark 补充了背后的动机变化：训练时代愿意为软件好用买单，推理时代更愿意为更好的性能和性价比买单，DeepSeek 愿意写底层 PTX 汇编就是一个例子（约 35:30—36:11）。

评价一颗推理芯片看什么

• 顺序是每 token 成本、单用户推理速度、耗电量，利用率影响成本；端侧芯片算的是另一笔账，一颗盒子芯片往往先看 100 美元的成本能不能卖出对应速度（约 41:23—42:44，Mark 与徐子扬）。
• TCO 分成一次性投入与运行成本两部分，国内电费约占三分之一，美国约占三分之二，这决定了客户更关心每瓦 token 数还是每美元 token 数（约 42:51—43:55，Mark）。
• 两位嘉宾更关心两个数字：单颗系统每秒能服务单用户多少 token，以及每个 token 的成本；很多做推理芯片的公司给不出这两个数（约 44:06—44:25，Mark）。

速度越快，AI 越聪明

• 人读不动的 token 才是大头：思维链和 agent 产生的 token 主要给模型自己或别的 agent 读，人能读到的速度大约 100 token 每秒（约 44:48—45:36，徐子扬）。
• 交互时间受限于用户耐心，如果一分钟是接受范围，更快的推理意味着这一分钟里能做更多内部思考；黄仁勋演讲里把纵轴设为每瓦 token、横轴标为「更聪明的 AI」，说的就是这件事（约 45:51—47:20，Mark）。

芯片设计的全流程与供应链

• 从需求分析、系统与芯片架构、微架构、feature list、RTL、验证、后端、流片到封装测试与交付，真正写 RTL 只占其中两三个月，前期的需求与架构占掉大部分时间（约 55:22—57:16，Mark）。
• 流片只是第一次掩膜的成本，良率才是量产阶段影响每颗芯片成本的部分；最终交付的是系统，还要包括 PCB、交换芯片、集群供电散热与供网（约 57:37—59:05，Mark）。
• 国内未来两到三年芯片市场会长期供小于求，能否成功的关键不是设计得多好，而是能不能造出足够多的芯片；大胆的架构创新放松了对最先进制程的要求（约 01:00:21—01:01:11，Mark）。
• 模型厂商做芯片要兼顾训练、图像生成与推理等多元业务，纯模型公司与芯片公司需要的能力并不相同（约 01:03:57—01:05:16，Mark）。

Bill Dally 的方法论

• Bill Dally 在 2009 年 1 月加入英伟达担任首席科学家，之前在斯坦福任教 12 年，流处理研究是今天 GPU 的源头之一。5
• Mark 说导师关心的是本质问题：找最难、对系统影响最大的点；只做微小提升时不必牺牲什么，要做数量级提升就必须想清楚哪些可以牺牲（约 01:11:43—01:12:22）。
• 「计算机体系结构就像房地产，关键是位置、位置、位置。」时间局部性与空间局部性在 decode 阶段被算法抹平，所以要用硬件上的局部性来补（约 01:10:46—01:11:38）。
• 他给学生的创业建议是不要用 PhD 写的代码；做研究的本质是用最小的代价获取最多的知识，工程实现贡献的是能不能做出来的那部分（约 01:13:03—01:14:46）。

OpenAI 的另一种取舍：芯片内异构与暗硅

• 徐子扬认为 Jalapeño 是一颗通用芯片：它对小维度矩阵乘法做了支持，小 batch 下性能也好，把此前分散在不同芯片上的活收进一颗芯片，公开信息里甚至提到下一代要支持训练（约 01:18:05—01:19:31）。
• 它走的是 HBM4 这条路，指向的是约束差异：美国的瓶颈是电力供给，资本开销相对不敏感，所以每瓦产出的 token 比每美元买到的带宽更重要（约 01:20:42—01:21:31）。
• SRAM 的优势窗口没有关上：HBM 每一代带宽的增量从哪里来本身也不确定（约 01:24:43—01:25:09，徐子扬）。
• 暗硅是芯片内部的异构：需要时关掉部分单元以换取电效率，代价是花更多钱买芯片；系统级异构与芯片内异构是两种回答，各自对应不同的限制条件（约 01:27:20—01:28:08，徐子扬）。

关键节点

• 04:17｜为什么训练看算力，推理看带宽：训练赌最强集群，推理要算清每 token 的成本；prefill 有并行度，decode 逐 token 自回归。
• 14:13｜SRAM、DRAM、HBM 的优劣：泓君用「离干活的地方有多远」解释三种存储，并给出各自的代价。
• 16:39｜Groq 和 Cerebras 的技术路径选择：两家都选了 SRAM，代价是容量，系统随之做大。
• 19:34｜Groq：确定性、静态编译调度，动态性不足：编译器提前排好调度，遇到 MoE 的运行时选择就只能用空转换确定性。
• 25:18｜Cerebras 的软肋：良率、成本与系统适配：整片晶圆一处不达标整片作废，软件与机柜适配都要自己解决。
• 32:32｜英伟达为什么要 acqui-hire Groq：推理的带宽需求是 GPU 架构不好解决的部分，外部团队比内部推动更快。
• 33:58｜「推理时代 CUDA 一定会被绕过」：为软件好用付费的时代过去了，为 token 成本和速度付费的时代到来。
• 39:19｜两位芯片创业者的 SRAM 推理芯片方案：单颗几百 MB，量化后约 1TB 的模型交给上千颗芯片与一套拓扑。
• 41:07｜最重要的指标：速度、性价比、耗电量：成本优先，利用率影响成本，端侧与云端算的是两笔账。
• 44:25｜速度越快，AI 越聪明：token 主要给模型自己读，交互时间不变时速度换来的是内部思考量。
• 49:04｜面对模型迭代，抓住「不变量」：attention 还在变，MoE 之后的 FFN 相对稳定，芯片挑收敛的部分做。
• 54:15｜消失的算力：为何芯片利用率跑不满：计算与访存的比例不在 GPU 的甜点上，细碎算子又带来调度损失。
• 58:27｜芯片设计全流程：需求、架构、RTL、验证、后端、流片、封装测试、良率、交付。
• 01:01:16｜国内优势：供应链 + 基础设施 + 开源生态：成熟制程加架构创新，数据中心与开源模型都在手边。
• 01:03:17｜创业者做芯片，如何和模型厂商竞争：大厂芯片要兼容多元业务，模型公司与芯片公司需要的是不同能力。
• 01:05:17｜为未来 AI 补齐强逻辑：Bill Dally 早早关注强逻辑加速，这条路的算法到今天还没收敛。
• 01:09:40｜「一切围绕局部性展开」：时间与空间局部性在 decode 阶段被抹平，硬件要把局部性补回来。
• 01:11:43｜跳出 local minimum，必须想清楚牺牲什么：数量级提升的前提是承认代价。
• 01:13:03｜Bill 给学生的创业建议：不要用 PhD 写的代码。
• 01:14:47｜亚马逊的工程哲学：从系统反推硬件，先想清楚用户最后要什么。
• 01:17:30｜Jalapeño：通用芯片，低能耗，9 个月流片：一颗芯片包下 prefill 与 decode、Attention 与 FFN。
• 01:20:10｜选择 HBM4，不缺钱，但缺电：约束不同，最优解不同。
• 01:24:15｜SRAM 优势还能保持多久：HBM 的带宽增量来源本身也不确定，KV Cache 是 SRAM 不舒适的区间。
• 01:27:03｜芯片内异构，暗硅，另一种路径：用更多芯片成本换电效率，系统级异构之外的另一条回答。

术语

• Prefill / Decode：大模型推理的两个阶段。Prefill 一次并行处理完整输入，生成 KV Cache 与第一个 token，吃算力；Decode 基于 KV Cache 逐个自回归生成后续 token，每生成一个词都要把模型权重从存储读到计算单元，吃带宽。
• KV Cache：注意力机制里的中间计算结果，用来避免重复计算历史 token 的键值向量；长上下文对它的容量需求很大，也是本期讨论 SRAM 是否适用的关键场景。
• Attention / FFN：Transformer 的两大模块。Attention 负责让每个 token 关注序列里的其他 token，参数量较小、计算模式随上下文长度变化；FFN 独立处理每个 token，是静态权重的主体。
• SRAM / DRAM / HBM：SRAM 用 6 个晶体管存 1 bit，延迟最低、带宽性价比最高，容量极小，可以做进计算芯片内部；DRAM 用 1 个晶体管加 1 个电容，容量大成本低，但延迟高；HBM 是 3D 堆叠的 DRAM，靠超宽总线做高带宽，容量大、成本高、产能紧张。
• MoE（混合专家）：把 FFN 拆成很多个专家，每个 token 在运行时只激活其中一小部分，比如 128 个里选 8 个，这层选择无法在编译期预知。
• 局部性（Locality）：时间局部性指刚用过的数据很可能马上再用，空间局部性指用到一段数据时往往也会用到它周围的数据。本期用它解释为什么把权重放得离计算更近能换来带宽。
• Roofline / MFU / MBU：Roofline 描述计算与访存之间的平衡，决定了某个模型跑在这颗芯片上能到什么水平；MFU 是算力利用率，MBU 是访存带宽利用率，两者都要看。
• 流片（Tape Out）：设计完成后把版图交给晶圆厂制造的过程，晶圆厂据此制作掩膜再光刻生产。先进制程一次流片可达数百万美元，第一次掩膜是固定成本，良率才是量产阶段的成本变量。
• 异构：用最合适的硬件做对应部分的应用。本期区分了两种：系统级异构是把不同芯片组合起来分工，芯片内异构是一颗芯片里放不同单元、按需开关。
• 暗硅（Dark Silicon）：芯片内部并非所有单元同时工作，可以通过关闭部分单元或降低其功耗来换取电效率，代价是为一颗更全能的芯片付更多钱。
• acqui-hire：以技术许可加团队的方式把人和技术收进来，公司本身仍然独立运营。本期指英伟达与 Groq 之间约 200 亿美元的这笔交易。
• TCO / CAPEX / OPEX：数据中心的总持有成本分成一次性投入（芯片、机房）与运行成本（电力、散热等），两者的比例决定了客户更关心每美元 token 还是每瓦 token。

几句原话

「computer architecture is like real estate, it's all about location, location, location.」

「Groq 的话其实是在他做出我需要依靠编译器做完全静态的调度和编译这个选项的时候，没有办法去预先知道现在大模型 Transformer 推理里面有如此大的动态性。」

「做研究的本质就是用最小的代价获取最多的知识，这是他认为研究的本质。」

「所以未来我们是否能成功的关键并不一定在于比如说我们的芯片设计的多好，其实就在于能不能造出足够多的芯片了。」

「我觉得这个其实就是在不同的市场下，它的限制条件不一样，会走出不一样的路径。」

完整逐字稿（按说话人）