推理芯片的三条路：Groq 的 SRAM、Cerebras 的整片晶圆，和 OpenAI 九个月的流片
《硅谷101》第 251 期由两位 AI 芯片创业者拆解 Groq、Cerebras 与 OpenAI 三条推理芯片路线各自的技术选择、收益与代价，并借比尔·戴利学生的视角讲清这位 GPU 奠基人的设计哲学，文末附全量中文逐字稿。
《硅谷 101》是媒体人泓君发起的科技访谈播客，选题长期跟在这一轮 AI 浪潮的技术与商业变化上1。2026 年 9 月 16 日上线的第 251 期《推理芯片之战》时长 1 小时 31 分 32 秒，是一期把技术路线摆开来讲的长谈：训练和推理对芯片的要求差在哪里，Groq 与 Cerebras 为什么走上了两种极端设计，英伟达为什么花约 200 亿美元把 Groq 收进来，以及 OpenAI 的第一颗自研推理芯片 Jalapeño 为什么没有跟着嘉宾看好的方向走12。
主播泓君请来两位 AI 芯片创业者。Mark 负责推理芯片的硬件与系统架构，2017 年到斯坦福读博士，导师是英伟达首席科学家比尔·戴利（Bill Dally）；徐子扬负责软件与编译器方向，此前在亚马逊的 Annapurna Labs 做 Trainium 芯片上的软件栈，博士阶段在普林斯顿研究多核并行计算。两人目前都在做推理芯片的创业，节目没有披露他们的公司与产品2。
录制时间上有一个巧合：正片录在 6 月 24 日，同一天 OpenAI 与博通公布了 Jalapeño3，于是这期在片尾加录了一段，专门拆解这颗芯片为什么走了与两位嘉宾判断不同的存储路线。
这期的主线
推理消耗的 Token 在过去几年涨了几个数量级，Token 经济随之成型，推理芯片也就从 GPU 的一个用途变成了独立的战场。牌桌上有四类玩家：Groq 把模型权重放进芯片内的 SRAM，用编译器把整个执行过程静态排好；Cerebras 把一整套 GPU 集群的工作塞进一整片晶圆，用物理距离换通信代价；谷歌的 TPU 与亚马逊的 Trainium 代表大厂自用芯片；OpenAI 与博通合作的 Jalapeño 则在同一颗芯片内部塞进多种用途的计算单元1。
两位嘉宾的判断是：这些分歧背后只有一道题——每一代推理硬件都得给 Decode 阶段提供足够便宜、足够高的带宽，而不同玩家的市场条件不同，答案就不同。节目按技术路线、护城河、创业现实、比尔·戴利的设计哲学、Jalapeño 拆解五个部分推进。
先记住三件事
第一件，训练看算力，推理看带宽。 训练有海量数据和充足并行度，考验的是把算力喂饱；推理在 Decode 阶段是一个词一个词往外吐，每吐一个词都要把整个模型的权重从存储搬进计算单元，天花板落在带宽上。Mark 用一句话概括了这个差别：读一次权重，训练可以算很多次，Decode 只能算一次1。
第二件，Groq 与 Cerebras 都把权重放到了芯片上，差别是一颗做小、一颗做大。 两家都在 Transformer 出现之前就押注带宽，最后都落到 SRAM 这种"离计算最近"的存储介质上。代价是单芯片容量只有 HBM 的百分之一量级，所以要把模型塞进去就必须把系统做大，几百上千颗芯片一连，通信与调度就成了新的瓶颈。Groq 的解法是把调度提前到编译期，Cerebras 的解法是把几百颗芯片的距离压缩成一整片晶圆1。
第三件，英伟达买的是一条被验证过的推理路径，而不只是几个人。 2025 年 12 月 24 日，CNBC 报道英伟达以约 200 亿美元拿下 Groq，是它历史上最大的一笔交易5；Groq 自己的说法是双方签了一份非独家的推理技术授权协议，创始人 Jonathan Ross 与总裁 Sunny Madra 带团队加入英伟达，Groq 继续独立运营6。到 2026 年 3 月，英伟达已经把这条技术线做成产品：NVIDIA Groq 3 LPX 成为 Vera Rubin 平台的第七颗芯片，一个机架 256 颗 LPU，合计 128GB SRAM、40PB/s 片上带宽、315 PFLOPS FP8 算力7。
训练看算力，推理看带宽
节目在 04:17 进入正题。Mark 从两个层面拆这道题：商业上，训练本身没有直接回报，成本因此难以量化，团队只能押一个最强的集群去赌未来；推理不一样，它可以把账算清楚——用户为每百万个 Token 付多少钱，自己生产这百万个 Token 要花多少钱，后者包括买卡的成本和跑起来的电费。推理生意追求的是性价比1。
技术上，差别来自计算的形状。Prefill（预填充）阶段一次性把整段提示词喂进去，几千个字同时处理，并行度充足，读一次权重可以算很多次；到了 Decode（解码）阶段，模型要一个词一个词地自回归生成，每个新词都得等上一个词的结果，读一次权重只换来一个 Token。徐子扬给了一个更形象的对比：读一遍模型，前者能处理一整句话，后者只处理一个词。
GPU 的对策是凑批。它不会为了一个用户的一个 Token 把整个模型从 HBM 搬一遍，而是收集上万个用户的请求，把所有人的第一个词、第二个词拼在一起并行算。用户感受到的延迟因此不只是自己的那一个 Token，还要等同批另外几千个请求一起算完。这解释了一件事：为什么在 Agent 和长思考场景里，交互速度一直是被架构限制住的。
三种存储：SRAM、DRAM、HBM
14 分 13 秒起，节目用几分钟把这三个词讲清楚，因为整期的争论都围着它们转。徐子扬的比喻是"离干活的地方有多远"：DRAM 相当于电脑里的内存条，装得多但离得远，来回取数据要花时间；HBM 是把 DRAM 搬到计算芯片旁边，还开了很多条通道，容量大速度也快，代价是贵，而且全球产能紧张；SRAM 直接做在计算芯片里面，速度最快，代价是极占面积——同样的数据量，SRAM 需要的芯片面积是 DRAM 的几十倍到上百倍。按存储一个比特的成本算，SRAM 要用六个晶体管，DRAM 只要一个晶体管加一个电容，所以单芯片能装下的容量可能比 HBM 低两个数量级1。
Groq 官方对这套取舍的描述与此一致：LPU 官网的说法是 LPU 里几百 MB 的 SRAM 承担权重主存储的角色，编译器把计算、数据搬运和同步都显式排好，运行时靠硬件的不依赖缓存的协议把几百颗芯片对齐成一套系统89。Groq 早期那颗 GroqChip 的公开规格是单颗 230MB SRAM、约 80TB/s 片上带宽、900MHz 主频下 750 TOPS 的 INT8 性能10。
节目里还有一个判断：往 SRAM 走的公司正在变多，d-Matrix、MatX 都在这个方向上，谷歌 TPU 与亚马逊 Trainium 每一代的片上 SRAM 也都在变大。徐子扬说谷歌的做法是把更多 SRAM 用来存 KV Cache，这一点他是从公开技术博客里读到的。
Groq 与 Cerebras 的分岔
16 分 39 秒，Mark 把两家公司的选择放回它们创业的年份去看。Groq 成立于 2016 年，Cerebras 也在同一时期起步，那时 Transformer 还没成为主流。两家都经历了同一段推理：带宽会越来越贵，把存储搬到计算芯片里是最彻底的解法，而 SRAM 是当下最成熟、最可靠的那条路。做完这个决定，两家就撞上了同一堵墙——单芯片容量太小。
把模型塞进去的办法只有一个：把系统做大，几百颗甚至上千颗芯片一起上。系统一大，瓶颈就从计算挪到了通信与调度，两家的分岔正是从这里开始的。
Groq 选择把调度搬到运行之前。它的思路是让编译器在编译期就把未来整个系统要做的计算和通信全排好：哪个时钟周期做什么计算，哪个时钟周期开始搬数据，运行时就省掉了调度的开销。这条路线带来一个副产品是确定性：数据从存储出来需要多久是固定可预测的，没有抖动，因此可以用张量并行把一层拆到多颗芯片上，还能保证同步。代价也很清楚——模型的动态性无处安放。MoE（混合专家）就是最典型的例子：一个 Token 在推理时才决定激活 128 个专家里的哪 8 个，编译期无法预测。静态调度遇到这种动态性，只能要么保守地把数据送到所有可能的位置造成空转，要么改用别的切分方式，而后者在当前模型结构下很难切得干净1。
Cerebras 选择把距离消灭掉。既然通信的代价来自一个机柜里几百颗芯片之间的物理距离，那就把整套东西放进一整片晶圆，线更短、带宽更高。这条路线的报告单上写着良率与成本，这是本期被反复提到的一句话：Cerebras 要为它复杂的良率成本打一个折扣，Groq 要为它的确定性打一个折扣，两个折扣最终都会落到 Token 的成本上。
按两位嘉宾的判断，单看价格，Cerebras 比 Groq 更贵。市场上给这两家的定位都是"快"：当别人做到每秒 100 个 Token 时，Cerebras 能到 750 甚至 2000 个，愿意为更快买单的客户可以支付很高的溢价。至于性价比，节目里的说法是它还没有被摆到台面上讨论过——能做出更快也更便宜的东西的人，通常不会主动说自己的成本更低。
Cerebras 的软肋：良率与成本
25 分 18 秒起，Mark 用芯片制造的常识解释为什么晶圆级方案的账更难算。常规大芯片的单颗面积上限大约 800 平方毫米，一片晶圆能切出三四十颗，良率五成就还有二十颗能用。晶圆级芯片把整片晶圆做成一个产品，逻辑就变了：只要坏点超过一定比例，整片晶圆作废，没有"挑好的那几颗"这回事。Cerebras 的工程能力恰恰在于它接受这件事——用冗余核心、冗余布线和失效定位的架构绕开坏点，让一片带缺陷的晶圆仍然能当产品用1。Cerebras 官网对外的说法也是这套：让芯片带着缺陷工作，坏掉的核心被关掉、路由绕过去4。
节目把成本拆成两段。开模和首次流片的钱可以随出货量摊薄，类似玩具厂开模；良率问题影响的是每一片实际生产的成本，摊不掉。徐子扬把账算到 Token 上：数据中心的总成本是采购成本加运行期的电费，前者是 CAPEX，后者是 OPEX；晶圆级芯片因为良率抬高的是硬件那一半的成本，它本来可以在带宽上拿到的两三个数量级的优势，会被这部分吃掉一截。
Mark 还补了一句背景：上世纪 80 年代就有人试过晶圆级芯片并且失败，今天能再做这件事，是因为 AI 这个单一的大应用让研发与流片成本有了摊薄的对象，同时软件栈的难度也降了两个台阶——过去的 CPU 要在几千款应用上做兼容测试，今天的推理芯片主要面对一类结构相似、层数几十层的 Transformer 模型，而且写算子这件事本身正在被 AI 加速1。
英伟达为什么把 Groq 收进来
32 分 32 秒，泓君把问题直接摊开：英伟达为什么要花 200 亿美元做这笔 acqui-hire。
Mark 的回答分两层。一层是技术：他和戴利平时聊的很多需求，GPU 这套架构解决得并不好，其中最主要的就是推理带来的大带宽需求；英伟达内部清楚算力不再是唯一的指标。另一层是组织：CUDA 既是护城河，也是创新上的包袱；英伟达研究院做过很多架构层面的创新，但把一个颠覆性的研究想法推给成熟的产品团队，即使在这家公司内部也很难。相比之下，直接把一支与原有团队没有历史关系的技术团队买进来，是更省事的路。
这里要补一段公开记录，因为它决定了这笔交易在事实层面是什么。2025 年 12 月 24 日，CNBC 报道英伟达同意以约 200 亿美元收购 Groq，是英伟达历史上最大的一笔交易5，路透社同日的报道也提到这笔约 200 亿美元的交易11。Groq 官方公告的措辞是"非独家推理技术授权协议"：Jonathan Ross 与 Sunny Madra 带团队加入英伟达，Groq 继续作为独立公司运营，由 Simon Edwards 出任 CEO，GroqCloud 服务照常6。所以节目里说的"收购"，落到纸面上是一笔授权加团队并入的交易，公司主体还在。三个月后，英伟达把这条线做成了产品：Groq 3 LPX 与 Vera Rubin NVL72 配对使用，Rubin GPU 负责 Prefill 与 Decode 里的注意力部分，LPX 负责对延迟敏感的 FFN 与 MoE 专家计算，英伟达给出的口径是两者合起来每兆瓦推理吞吐最高提升到 35 倍712。
节目里还提到一个背景：Groq 创始人 Jonathan Ross 出身谷歌 TPU 团队，此前负责编译器方向，这解释了他为什么把整套设计围绕编译器展开。
「推理时代，CUDA 一定会被绕过」
33 分 58 秒，话题转到软件护城河。徐子扬的判断很直接：绕过 CUDA 是百分之百会发生的事，因为推理的时代与训练的时代，客户愿意为"软件好用"付的钱不一样了；当软件难用能换来更好的 Token 成本与性能，天平就会往性能和性价比那边倾斜。他举了两个现成的例子：谷歌的 TPU、亚马逊的 Trainium 都没有做任何兼容 CUDA 的动作，而 DeepSeek 虽然跑在 GPU 上，却愿意直接写底层 PTX 汇编去做优化。
节目中段还有一个补充值得记下来：TPU 的软件栈对不熟悉它的人来说仍然难用，泓君听到的一种说法是 Anthropic 能大量采购 TPU，是因为它有很多工程师来自谷歌，知道 JAX 在上面怎么用；对一个从没写过编译器的工程师来说，这一层仍然是黑盒。
徐子扬对"难"这件事的拆解是：它是一道难题；把 Transformer 里的所有算子在新的芯片上写出来，这套商业逻辑就通了，而 AI 正在大幅加速算子与运行时的开发1。
三个指标：每 Token 成本、速度、每 Token 耗电量
41 分 07 秒，泓君让两位嘉宾给出评价一颗推理芯片的框架。回答是三个指标排在最前面：每个 Token 产出的成本、推理速度、每个 Token 的耗电量；芯片利用率排在后面，因为它最终通过成本起作用。Mark 附带强调了一句方法：未来的推理系统是异构的，单看一颗芯片的算力、带宽、容量无法评判好坏，衡量必须在系统这一层做。
耗电量的权重因市场而异。节目给的口径是，国内数据中心的电费大约占持有成本的三分之一，美国大约占三分之二，这也解释了为什么黄仁勋反复讲 tokens per watt，而国内客户更关心 tokens per dollar。他们自己判断一家芯片公司的两个问题也随之确定：每秒能做多快，每个 Token 有多便宜。
速度越快，模型越聪明
44 分 25 秒，泓君问了一个像用户才会问的问题：现在的推理速度已经够用了，为什么还要更快。这也引出本期最值得带走的一个判断。
徐子扬先把 Token 分了两类。思维链产生的 Token 是给模型自己看的，Agent 产生的 Token 是给别的 Agent 读的，人读 Token 的速度上限大约每秒 100 个，所以面向人的推理做到这个量级就够；而面向 Agent 与模型自我思考的那部分，速度越快越好，没有明显的上限。世界也不会等：让一个模型判断明天的股市，它花两天想出来的答案没有价值。
Mark 接着把"快"换算成了"聪明"。在交互时间固定的前提下，速度提高十倍，模型就能用十倍的 Token 做内部思考，从而给出更好的答案。他提到黄仁勋演讲里的那张图，纵轴是每瓦 Token 数，横轴写着 smarter AI；戴利更愿意把横轴叫 interactivity（交互性），两者指的是同一件事。
泓君在这个逻辑里找到了一个日常体验的解释：有些应用很快给出答案，可能只是因为模型想得少。
模型在变，芯片要抓不变量
49 分 04 秒起，问题变成"模型迭代这么快，芯片怎么跟得上"。两位嘉宾的方法是把模型结构分成已经收敛和还在变动两部分。注意力的机制还在频繁变化，各家实验室不断发新论文；FFN 部分自从变成 MoE 之后就相对稳定，成了一道不变量；后训练里的强化学习对结构的影响有限。芯片优先瞄准收敛的那部分，同时对图像、视频生成里的 Diffusion 这类计算密集的模型想清楚要不要覆盖、怎么覆盖1。
Mark 把这条原则说得更抽象：AI 系统无论用什么模型，都会有算力需求与带宽需求两部分，他们要找的是最贴近当前带宽需求的芯片到系统的解法，因此这条路瞄准的是各类模型共用的一部分需求。按他们的判断，芯片出来的时候最适合跑在上面的大概率还是 Transformer。
消失的算力：利用率为什么跑不满
54 分 15 秒，泓君提出了一个很多读者都有的疑惑：纸面算力都很高，实际跑起来却常常连对折都不到，那部分算力去哪了。
Mark 给的是 Roofline（屋顶线）的解释：很多负载的计算量与访存量之比没有落在英伟达 GPU 的甜点上，卡在带宽上，算力自然用不起来；推理又由大量细小的算子拼成，每秒两三百个 Token 意味着每个 Token 对应的计算任务非常碎，调度本身就有损耗。徐子扬把责任分了家——用户用法、芯片设计、软件栈各占一份——并补充了两个指标：MFU（模型算力利用率）衡量矩阵乘法这部分算力用掉多少，MBU（内存带宽利用率）衡量带宽用掉多少；一颗芯片同时有这两种能力，把带宽吃满的时候算力可能还空着，所以这是一个综合问题。
一颗芯片从需求到交付
58 分 27 秒，Mark 把芯片设计的全流程讲了一遍，这也是本期信息密度最高的一段。顺序是：先梳理需求，分清哪些是技术问题、哪些是客户问题；再做高层系统架构，把集群级、服务器间、芯片间的互联需求拆解到单颗芯片；接着是芯片架构与微架构定义，包括计算单元与矩阵单元怎么设计、用什么指令集、SRAM 放在哪里；然后写成一份特性列表指导 RTL 编码，编码本身大约两三个月；之后是大量的验证，靠海量测试用例与形式化证明保证流片前不出功能性错误；再往后是后端，把每个晶体管的位置摆进物理空间，完成布局布线与各种检查；接着才是流片，也就是做掩模；第一代芯片回来后有封装与测试，包括在一个大封装里把极细的光刻线引到板子上，以及建立一套体系判断每一批芯片里哪些是好的；最后到交付，涉及 PCB 设计、配套的控制与交换芯片、接口，以及整个集群的供电、散热和组网。
关于成本，Mark 在前一段已经给过一个类比：首次流片的钱相当于玩具厂开模，出货量够大就能摊薄；晶圆级方案的麻烦在于每生产十片可能有九片不可用，这会直接抬高实际生产成本。
国内的供应链、基础设施与开源生态
01 分 01 秒（片头的章节标记是 01:01:16）起，话题转到创业者的现实条件。两位嘉宾都判断国内芯片市场在未来两到三年会持续供小于求，能否成功的关键可能落在"能不能造出足够多的芯片"上。他们的应对是放宽对最先进制程的要求，用成熟工艺加上架构创新去拿 tokens per second 与 tokens per dollar 这两个指标。
被问到为什么回国创业时，Mark 的回答很朴素：当年是毕业后的工作机会把他带回来的，已经待了三年，导师和朋友还在美国，因此每年会去硅谷几次继续交流。徐子扬补了三点结构性的优势——供应链完整、供应商多；搭建推理基础设施的能力，涉及数据中心建在哪里、用水用电怎么解决；以及中国本身就是一个能自己转起来的巨大市场。
节目还给出一个容易忽略的角度：Groq 与 Cerebras 在商业化上走得艰难，与美国最主流的模型是闭源的有关。做出一颗新芯片，最需要的是有开源模型可以拿来跑出效果，而当时最主流的闭源模型不可能为它们适配；国内的情况正好相反，DeepSeek、智谱这类最强的模型在架构层面是开放的，国内市场稳定可获得的最好的模型 API 也是这些开源模型。
至于模型厂商自己做芯片带来的竞争，两人给出的回答指向能力分工：开放权重意味着模型厂商没有本质优势，大厂自研芯片更多是为了覆盖训练、图像生成等自家多种需求，谷歌 TPU 则做到了模型与芯片协同设计；而在他们看来，设计好模型与设计好芯片需要的是两种能力，把它们装进同一家公司未必是好事——这件事本身也需要"异构"。
比尔·戴利：一切围绕局部性展开
01 分 05 分 17 秒，节目的最后一个人物段落留给 Mark 的导师。戴利 2009 年 1 月加入英伟达担任首席科学家，同时是英伟达研究院的高级副总裁；此前在斯坦福待了 12 年，2005 到 2009 年任计算机系系主任；再往前在 MIT 领导团队造过 J-Machine 与 M-Machine 两台实验性并行计算机，在加州理工期间设计了 MOSSIM 仿真引擎与 Torus 路由芯片，后者开创了"虫洞路由"与虚拟通道流控。2010 年，他与西摩·克雷、大卫·帕特森、约翰·轩尼诗等人同列的埃克特—莫奇利奖颁给了他，这是计算机体系结构领域公认的最高奖1314。
Mark 讲了自己进入这个圈子的路径：大四那年被当时即将毕业的韩松拉去做研究助理，方向是模型的剪枝与量化，即怎样让模型更高效地跑在硬件上；每周与戴利的例会让他记住了两件事——这个人极聪明，而且只挑最本质的问题下手。他举了一个当时几乎没有人在意的方向：AI 有两条分支，一条是感知，也就是神经网络；另一条是强逻辑，靠知识图谱与形式化推理去做严谨的推导，今天用 AI 证明数学定理属于这一支。英伟达已经把感知这一支加速得很好，而强逻辑这一支几乎没有人做硬件。戴利选择的就是后者，Mark 参与设计的是一套为它从头设计的加速器架构。到目前为止，他认为这部分仍处在算法研发阶段：解逻辑问题的算法是固定的，叫 SAT，难点在于如何让 Transformer 把复杂的数学与物理问题拆解成这类问题，而这正是眼下许多做 AI for Science 的公司在攻的方向1。
戴利对 Mark 影响最直接的一句话是关于局部性（locality）的。他的原话是，计算机体系结构像房地产，关键永远是 location、location、location——东西放在哪里。CPU 时代的缓存就是在利用时间局部性与空间局部性：用过的数据大概率还会再用，用过的数据旁边的数据大概率马上也会用到。而 LLM 的 Decode 把这两种局部性在算法层面抹平了，于是硬件必须在架构上人为补回局部性，这正是把权重放进 SRAM 的理由。
这套思路还带来一个判断标准：做微小的提升时，可以保全大局，无需改动其他部分；要做数量级的提升时，必须先想清楚哪些东西可以牺牲、哪些是关键。想清楚这些，才有可能跳出局部最优。Mark 说失败在合作过程中非常常见，而戴利的逻辑与成败无关——难的问题值得做，失败只说明这次解法不对。
创业建议里有一条来自戴利自己的教训，Mark 转述得很直白：一定不要用博士阶段写的代码。戴利对研究的定义是用最小的代价获取最多的知识，因此他在斯坦福时很少把经费花在真的流片上，因为流片前已经拿到 99% 的结论；而创业做的就是剩下那 1% 的工程实现，还会占掉 99% 的精力。
亚马逊的工程哲学：从系统反推硬件
01 分 14 分 47 秒，徐子扬讲了他在亚马逊做自研芯片软件栈时学到的两条原则。一条与芯片相关，整个系统从上方的软件往下反推硬件，先想清楚要加速的负载是哪一类模型、做训练还是推理，再一路推到芯片设计；另一条是亚马逊的 Customer Obsession，从用户最终想要什么出发，包括用户在芯片做出来那两年会想要什么。落到具体参数上，他说芯片设计里有一个很关键的比值，即计算量与访存带宽的比例，它决定一份数据读进来要做多少次计算才能把两边都喂满，也就决定了哪一类模型在这颗芯片上表现得最好1。
Jalapeño：通用芯片、HBM4，与「缺的是电」
01 分 17 分 30 秒进入补录段落。徐子扬读完全部公开资料后的第一条判断是：Jalapeño 是一颗通用的 AI 推理芯片，定位与 GPU 更接近，能跑各种模型，连游戏都能在上面演示；OpenAI 官方稿里的表述是它从一开始就为 LLM 推理设计，同时兼容业界当前与未来的各种模型，理由是推理才是 AI 触达用户的那一层3。SemiAnalysis 的现场测试报告把这一点写得更明白：外界以为它专门为 OpenAI 自家模型优化，这个读法是错的，它是一颗在各家开源模型上都表现领先的通用推理芯片，OpenAI 甚至现场演示了用 Codex 提示词移植上去的《Doom》15。
第二个侧重点是能效。徐子扬的判断是 OpenAI 对电的效率极其敏感，因为美国数据中心当下缺的是电力供给，资本与空间都不缺；同样一份电，能产出更多 Token 就等于更多收入。他提到这颗芯片每瓦或每兆瓦能产出的 Token 数高于英伟达对应的 Rubin 架构。OpenAI 官方稿的说法是早期测试显示每瓦性能明显优于当前最先进水平，并将以吉瓦级规模部署；SemiAnalysis 的实测口径更具体——在多种场景下单位全栈能耗的 Token 产出都超过 Blackwell，且在没有多 Token 预测的情况下取得315。
第三点是通用性带来的取舍。Jalapeño 把前面讨论的异构问题收进了一颗芯片内部：Prefill、Decode、注意力与 FFN 都由同一颗芯片承担，还专门加入了对小维度矩阵乘法的支持，因此在批大小较小的情况下性能也能做好；公开信息里甚至提到下一代要支持训练。徐子扬还注意到两个用法上的细节：它的 Triton 语言写的 Kernel 与大量优化工作交给了 Codex，以及从项目启动到流片的九个月。OpenAI 官方稿把这段周期称为高性能先进半导体里最快的 ASIC 开发记录，并说设计过程本身用到了自家模型来加速3。
为什么最新的芯片走了最贵的路
泓君在这里提了一个贯穿全期的疑问：既然大家都在往 SRAM 收敛，为什么 OpenAI 还是把 HBM4 堆了上去，走了最贵的一条路。徐子扬的解释回到约束条件：HBM 贵，指的是买存储与封装的价格高，而 OpenAI 最紧的约束在电，对资本开销与造芯片的成本没那么敏感。中美算这笔账的方式不同，国内电费大约占持有成本的三分之一甚至更少，美国大约三分之二；更关键的是供给，美国每年新增的电力产能有明确上限，因此在确定的电量里产出更多 Token 就成了首要目标，SRAM 在每块钱买到的带宽上的巨大优势在这里让位。
SRAM 的舒适区在哪里、又在哪里不舒服，这一段讲得最细。容量小只是表象，真正的问题是需求的性质：模型的权重总量是固定的，可以用足够多的芯片把整个集群拼出来；KV Cache（键值缓存）则随着上下文长度与并发人数持续变大且难以预测，落在 SRAM 不擅长的区间里。徐子扬提到最近几个月这件事还在剧烈变化——DeepSeek 的新模型把每个 Token 的 KV Cache 压到了上一代的四分之一到八分之一——所以长上下文对容量的需求本身就是一个移动的目标。
泓君追问了一个很多人会想到的时限：HBM 每代的带宽提升比 SRAM 的密度提升更快，SRAM 这条路的时间窗口会不会在两三年后就关上。徐子扬的回答是，HBM 的带宽增长也没有外界以为的那么乐观，这一代之后带宽从哪里来还是未知数；回到第一性去看，带宽取决于连线的密度与频率，线是光刻在芯片内部做的，还是走在封装或板级之间，成本与能耗的量级不同。这一点回到了戴利那句"一切围绕局部性"。
关于"异构"这个词，节目给出了两种落点。Groq、Cerebras 以及两位嘉宾自己的方案都属于系统级异构：不同的芯片做不同的活，甚至把训练与推理拆开部署。OpenAI 展示的则是芯片内异构：同一颗芯片上安排多种计算单元，做某些任务时把用不到的部分关掉或降功耗，也就是业界说的暗硅（Dark Silicon）。徐子扬的评价是，这种方案用更多的芯片成本换更低的电耗，在按美元计算的性价比上会吃亏，但它对应的是电成为第一约束的市场，因此是一个合理的解1。
最后一个问题留给格局。被问到推理芯片市场会不会继续是英伟达的天下时，徐子扬的回答是这个问题很难回答，但这么多公司在做有意思的探索，希望大家不要只剩一个选项；他也提到以 CPU 为核心的巨头在迭代速度与方案选择上会有自己的限制，英伟达去收购 Groq 这件事本身就说明，新的方案来自英伟达之外。
术语表
节目官方在 show notes 里给了一份名词解释，本节按原文保留，并补上正文用到的几个词1。
- Prefill / Decode：大模型推理的两个阶段。Prefill 一次性并行处理完整输入提示词，生成 KV 缓存和第一个 Token，计算密集，瓶颈在算力；Decode 基于 KV 缓存逐个自回归生成后续 Token，是内存带宽密集型，每生成一个词都要把整个模型权重从存储读到计算单元。
- KV Cache（键值缓存）：注意力机制中的中间计算结果，用来避免每次生成新 Token 时重复计算历史 Token 的键值向量。新请求与此前处理过的内容有相同前缀时可以直接复用，称为缓存命中。
- Attention / FFN：Transformer 架构的两个核心模块。Attention 负责找关系，参数量较小，计算模式随上下文长度变化；FFN 负责加工信息，独立处理每个 Token，参数量极大，是模型静态权重的主要部分。
- SRAM / DRAM / HBM：SRAM 用 6 个晶体管存 1 bit，延迟 0.3 到 3 纳秒，带宽性价比极高，容量极小；DRAM 用 1 个晶体管加 1 个电容，容量大成本低，延迟 50 到 100 纳秒且需要刷新；HBM 本质是 3D 堆叠的 DRAM，通过超宽总线实现高带宽，容量较大但成本高，而且市场上极度缺货。
- Kernel（算子）：连接 AI 算法与芯片硬件的翻译层，把矩阵乘法、注意力等算法操作转化为硬件可执行的指令，直接决定推理速度、能耗与芯片兼容性。
- 系统级异构：在系统层面组合不同类型的计算芯片（GPU、SRAM 推理芯片、专用加速器），用最合适的硬件做对应的部分，而不是用一颗芯片包揽所有工作。OpenAI 的 Jalapeño 选择把异构收进单颗芯片内部。
- 流片（Tape Out）：芯片设计完成后把电路版图数据交给晶圆厂制造的过程，晶圆厂据此制作掩模再通过光刻等工序生产。先进制程一次流片可达数百万美元，设计有误则整批芯片可能报废。
- MoE（混合专家）：把 FFN 拆成许多个专家网络，每个 Token 在推理时只激活其中一小部分。激活哪些专家由运行时决定，这是静态调度方案最难处理的一类动态性。
- Roofline 与 MFU / MBU：Roofline 模型描述一份负载的计算强度与可达到的算力上限，卡在带宽上时算力就用不满。MFU 是模型算力利用率，只统计矩阵乘法那部分；MBU 是内存带宽利用率。两个指标都要看，因为它们可能一个满一个空。
- TCO / CAPEX / OPEX：数据中心的持有成本由一次性采购与建设成本（CAPEX）和运行期的电费、散热等成本（OPEX）两部分组成，推理芯片的性价比最终折算到每个 Token 的成本上。
- HBM4：HBM 的第四代版本，本期里它既是 OpenAI 的选择，也是判断旗舰 AI 芯片定位的参照。
- 暗硅（Dark Silicon）：芯片上无法同时全功率点亮所有单元的物理现实。OpenAI 的用法是主动把当前任务用不到的部分关掉或降功耗，用芯片面积换能效。
- acqui-hire：以收购或授权交易的形式把一支团队与其技术一起纳入自家，被收编的公司有时继续独立运营。本期英伟达与 Groq 的交易就属于这一形态。
人物背景与关键事实
比尔·戴利（Bill Dally）：英伟达首席科学家兼研究院高级副总裁，2009 年 1 月加入。此前在斯坦福大学任教 12 年，2005 至 2009 年任计算机系系主任；再此前在 MIT（1986—1997）领导团队建造 J-Machine 与 M-Machine 两台实验性并行计算机，在加州理工（1983—1986）设计 MOSSIM 仿真引擎与 Torus 路由芯片，后者开创了虫洞路由与虚拟通道流控。他与斯坦福团队开发的系统架构、网络架构、信号、路由与同步技术，今天出现在大多数大型并行计算机里。他是 Velio Communications 与 Stream Processors 的联合创始人，美国工程院院士，ACM、IEEE 与美国艺术与科学院会士，2010 年获埃克特—莫奇利奖，2015 年获日本信息处理学会的船井成就奖1314。他作为导师带出来的学生包括韩松（Song Han），后者在模型压缩方向做出了一系列工作，现在是 MIT 的教授。
泓君：媒体人，《硅谷 101》主理人1。
Mark：本期嘉宾，负责推理芯片的硬件与系统架构。2017 年赴斯坦福读博士，方向与体系结构相关，导师是比尔·戴利；博士阶段的研究包括大 CPU 集群里的内存语义调度、控制与通信，以及形式化验证相关的工作。毕业后在国内一家芯片公司做了约三年通用 GPU 类芯片研发，从芯片架构设计做到数百颗芯片的集群级设计，目前在做推理芯片的创业2。节目按他的要求隐去了公司与产品信息，出现在镜头里的只有名字。
徐子扬：本期嘉宾，负责软件与编译器方向。上一段工作在亚马逊的 Annapurna Labs，做 Trainium 芯片的软件栈，从算子编译优化到模型切割与集群部署都有参与；本科阶段做过端侧与云端语音识别的加速，博士在普林斯顿研究多核上的并行计算，把一个单线程负载放到 500 多个 CPU 核上运行。目前与 Mark 一起做推理芯片创业2。
Groq：2016 年成立的推理芯片公司，产品是 LPU（语言处理单元），把几百 MB 的 SRAM 当作权重主存储，配合编译器做静态调度与确定性执行。2025 年 12 月 24 日与英伟达达成非独家推理技术授权协议，创始人 Jonathan Ross 与总裁 Sunny Madra 带团队加入英伟达，公司由 Simon Edwards 任 CEO 继续独立运营68。
Cerebras：做晶圆级芯片的公司，第三代产品 WSE-3 于 2024 年 3 月发布，4 万亿晶体管、90 万个 AI 核心、44GB 片上 SRAM、5 纳米工艺，单颗面积 46,225 平方毫米；最新一代 WSE-3 Turbo 把 AI 算力提到 250 petaflops，配套的 CS-4 机架系统用三颗 WSE-3T41617。
OpenAI 与 Jalapeño：Jalapeño 是 OpenAI 的第一颗自研推理芯片，与博通共同开发，另有 Celestica 负责板卡与机架集成，2026 年 6 月 24 日公布，从初始设计到制造流片用九个月，官方称这是高性能先进半导体里最快的 ASIC 开发周期3。
亚马逊 Annapurna Labs 与 Trainium：亚马逊自研 AI 芯片的团队与产品线，徐子扬此前在其中负责软件栈2。
把节目里的说法与公开资料放在一起看
Cerebras 的上市时间与市值口径。 节目里说的是"今年 6 月 IPO，市值达到 670 亿美元"。公开记录是：Cerebras 以每股 185 美元定价，发行 3000 万股 A 类股，筹集 5.55 亿美元，2026 年 5 月 14 日开始在纳斯达克以 CBRS 交易1819；首日收盘上涨约 68%，对应市值 670 亿美元左右20。数字对得上，月份对不上，市值也只是首日的口径。
英伟达与 Groq 的交易形态。 节目沿用媒体的说法称其为 acqui-hire 与"收购"；官方公告与后续产品线显示，这是一笔约 200 亿美元的非独家技术授权加上核心团队并入，Groq 作为公司继续存在56。
Jalapeño 的九个月。 OpenAI 官方说的是从初始设计到制造流片九个月，并把加速归因于用自家模型参与设计与优化3。SemiAnalysis 给出了另一种算法：项目的设计工作从 2024 年年中开始，从团队组建到流片约 16 个月，同时它也确认了这颗芯片的定位是通用推理芯片而非专供自家模型15。两个口径的差别在于起点算不算团队筹建，读者可以按自己的用途取用。
只有节目里有、公开渠道找不到对应文本的说法。 单封装 HBM4 带宽"每秒 15.4TB"这一数字出自节目；Cerebras 每秒 750 到 2000 个 Token、英伟达 Rubin 的对照性能、国内电费约占数据中心持有成本三分之一与美国约占三分之二这两组比例、以及"谷歌把 SRAM 更多用于 KV Cache"这一读法，都是两位嘉宾的判断或转述。此外，Anthropic 大量采购 TPU 与它工程师来自谷歌之间的因果关系，节目也明确说是一个"听到的说法"。这些内容按节目原话保留，读的时候可以把它们当作两位嘉宾的判断1。
关于两位嘉宾的立场。 两人都在做 SRAM 路线的推理芯片创业，节目里对这个方向的看好、对 Groq 路线的倾向性评价，都出自厂商一方。OpenAI、英伟达、Cerebras 的数据取自各自官方发布，属于厂商自报口径。
完整中文逐字转录稿
声明：本逐字转录稿基于《硅谷 101》第 251 期的官方完整音频（时长 5492.5 秒，1 小时 31 分 32 秒）自动识别生成，原始文字未作删减。识别器在无语音间隙填入的一处空段与一段自我复读的循环句（位于 61:08 附近，落在静音区间内）已剔除；85:39 处一个 0.2 秒、只识别出「广告」两字的片段无法判断是真实音频还是识别噪声，按原样保留。人名的同音误写按上下文统一（泓君、徐子扬、Jonathan Ross、韩松），品牌与技术术语按官方写法统一（Trainium、DeepSeek、智谱、Llama、CUDA、Attention、Triton、Hot Chips、PyTorch、异构、访存、良率、摊薄、Itanium、MatX、acqui-hire），其余口语赘余、断句与个别识别错字原样保留。讲话人归属依据节目开场的自我介绍与内容判据判定：串场、点名提问与总结属于主持泓君；讲芯片架构、良率、晶圆与系统设计属于 Mark；讲编译器、算子、软件栈与亚马逊经历属于徐子扬。机器声纹在两人快速交替处会串位，个别轮次的归属仅供参考。1
00:00 - 00:10
泓君：
Hello 大家好，欢迎来到硅谷 101，我是泓君。过去几年，我们通过播客与视频，跟大家一起追踪了这一轮 AI 浪潮中最值得关注的公司、技术和人。今年，我们会继续把讨论带到线下，也把那些真正身处在变化中心的人带到大家的面前。今年 10 月 10 日到 11 日，硅谷 101 会在硅谷的 Sunnyvale 举办我们第三届 Alignment 2026 年度大会。我们也会在现场聊一聊日常创作节目中的一些花絮，期待与大家线下见。报名链接我已经放在 Show Notes 中了，感兴趣的听众欢迎通过 Show Notes 报名。那今天我们来聊一聊推理芯片。随着 Token 经济的发展，推理消耗的 Token 在过去几年是涨了几个数量级。这一集我们就聊一聊推理芯片到底是什么，以及像 Groq 和 Cerebras 它们不同的技术路径和各自的优缺点是什么。我们的录制是在今年的 6 月 24 号，巧的是在那天，OpenAI 发布了它们第一颗推理芯片。而它在存储上的选择和我们今天的两位嘉宾判断不太一样，这一点我们会在节目最后专门去拆解。本期嘉宾自己也在做 AI 推理芯片的创业，只是还在更早的阶段，所以我们今天聊到的这些公司对他们来说既是研究对象，也是参照系。其中，Mark 是英伟达首席科学家 Bill Dally 的学生。那 Bill Dally 他是现代 GPU 并行架构最重要的奠基者之一。我们也会通过 Mark 的视角聊一聊这位芯片大师是怎么看问题、拆解问题的。下面就请收听我们今天的节目。今天跟我在一起的两位嘉宾，一位是负责推理芯片的硬件还有系统架构的 Mark。Hello Mark 你好。
Mark：
Hello 大家好。
泓君：
还有一位是子扬，子扬是负责软件和编译器方向的。
徐子扬：
Hello 大家好，我是子扬。
泓君：
因为我们今天要讲推理芯片，大家要不要先简单介绍一下自己的背景以及自己跟芯片的关系是什么？
Mark：
OK，我是 17 年的时候去 Stanford 读了 PhD，然后方向也是 WE 的方向，导师是 Bill Dally。Bill 是在英伟达从早期的 GPU、显卡的芯片转型到现在 AI 芯片这个过程中，参与了非常非常多技术上面的方向和决策。所以本身我读 PhD 的时候就对 AI 计算尤其 GPU 怎么做这方面有相当的了解。但是其实我本身读 PhD 的时候更多的注重在可能面向一个大的 CPU 集群里面的一些内存语义的调度控制通信这方面的很多系统层次的架构的设计。我 PG 毕业之后在国内的芯片大厂做了三年左右的偏向通用 GPU 类芯片研发的工作。我可能做的硬件比较多，其实是因为我当时做的可能更多的是从芯片架构的设计一直到几百个芯片这种类似超级点的设计。
泓君：
那也请子扬来介绍一下自己过往的工作经历。
徐子扬：
我的上一段工作是在亚马逊的 Annapurna Labs 做 Trainium 芯片上的软件站。作为 scientist 的 role，所以会看更前瞻一些的东西。我从最下面的这种算子的编译优化，一直到上面的算法的模型切割，怎么把这个模型确定地放在我们这种大集群上，都做了很多工作。我在本科的时候，当时还是上一波语音和图像识别的时候，我就在做云端编的一些整合。我的本科毕业论文其实就在做的端测和编测的语音识别的加速工作。其实我在本科在爱丁堡交换时候还做了语言模型的一些前期工作，不过和现在大语言模型没什么关系。博士在普林斯顿读的时候，我做的一段和 AI 相对没有什么关系的，在做多核上的并行计算。其实把单一现成的一个东西放在 500 多个 CPU 核上去做。这个其实和现在的一些 AI 系统上要做的一些加速有一些关系，但是当时做的这个 workload 本身是传统的一些 CPU workload。
泓君：
对，所以我可以简单来说就是 Mark 你其实是一直在研究这个芯片它的硬件怎么搭，包括跟它的内存、它的通信之间是有很多的关系的。子扬其实你在亚马逊的工作经历主要是从跟芯片结合的软件层来去做这一部分的工作的。
徐子扬：
没错。
泓君：
大家要不要跟我们的听众简单的介绍一下？大家通常在说大模型需要 GPU，但是这个 GPU 它也是分类的，比如说有一部分是训练芯片，现在可能更多的是推理芯片。那么芯片训练跟推理对芯片的不同要求是什么？为什么它可能要的是两种不一样的芯片？
Mark：
这点我觉得有两个层面，可能不光是技术科普的角度，我觉得从商业模式上，其实大家需要这个系统来做什么样的事情本身也是有比较大的区别。一个是大家有多关心成本，另外一个点是技术上大家多关心带宽，而不是多关心算力。成本的角度我觉得是商业模式决定的。就在训练的时代，大家是没有办法依靠训练来获得任何商业上的回报的。就训练本身是一个没有直接回报的事情。所以当大家开始计算训练的成本的时候，这个东西是不可量化的。大家的期望都是我要赌一个最强大的训练的集群。可以让我拥有最强大的模型。而这个最强大的模型未来可能会在推理的场景下帮助我把之前训练投入的成本都能够收回来。但是推理的时候，从商业上的角度来讲，这就是一个可以很容易很清楚算明白账的事情。用户愿意为比如每百万个 Token 付多少钱，我推理的系统推理出这百万 Token，我需要花多少成本。成本可能包括比如我要买 GPU 的成本，包括我推理的时候要消耗电。所以推理这件事情从商业的角度来讲，它是一个追求性价比。而不是追求极致的性能，它会更多的把成本考虑进来。比较有意思的点就是计算密度，它的英文是 Effort to make the instance.它也叫 AI。对，然后其实本质的点是训练的时候你是有海量的数据可以把你多的这部分算力都充分的另起来，它有足够的并行度。但是推理的时候，语言模型大家认为是一个强逻辑的事情。这个逻辑是需要一定的顺序来完成的。举个例子，我说一句话，我可能必须得第一点是什么，第二点是什么。我第二点可能要基于我第一点说了什么来顺序的去展开。所以说导致现在整个语言模型 token 生产的这个过程，在推理的过程里面是严格意义上线性的，或者说是严格意义上自回归的。就我必须知道了我当前的 Token 推出来的结果是什么，我把这个结果作为输入喂给我的模型，它才能告诉我下一个 Token 应该是什么。就这种就导致了它的计算的模式变成了像训练或者在一些比如 Prefill 阶段的特征是你有很多个 Token 可以并行的处理。但是在 Decode 真的产生 Token 的时候，变成了我必须一个一个 Token 去产生。但是每次产生一个 Token 的代价，其实是把你所有这么大的一个模型，1.6T 的模型，都从你的存储介质里面堵到计算单元里面。所以这个是本质的产生了推理，尤其是 Decode 的阶段对于算力和带宽的需求产生了本质的变化。
泓君：
我可不可以理解成 GPU 在训练部分要核心解决的问题是算力，
徐子扬：
然后在推理部分要核心解决的问题是内存带宽，应该是说在训练的时候或者在推理的分成两个阶段，Prefill 的这个阶段，它有大量的并行度，所有的 Token 都是已知的。我用大量的并行度可以在读取一次数据以后同时做非常多的计算。GPU 这个本身的硬件需要你同时做非常多的运算才能把它硬件资源给用满。它这个比例下的带宽其实不足的。
泓君：
OK，我们给用户一个更加形象化的解释吧。就比如说我给大模型问了一个问题，你出一个今天我们的采访提纲，当用户把这样的一个提示词输给大模型，然后他要开始去做推理，他要开始去写这个提纲的时候，他会用到多少的 GPU 或者是推理芯片？用 GPU 跟用专业的推理芯片，它产生的结果从延迟性、从成本上会有什么样的不一样？
Mark：
对，我觉得这是一个比较好的例子。在 Prefill 阶段，它是可以并行的处理我刚刚说的所有的单词的，它可以把这一整句话同时喂给这个模型，让它去推理出它要出的提纲的第一个词，比如它的回答可能是好的，那这个好的是它在接收到的这句完整的信息之后吐出的第一个 token。刚刚说的 Prefill 这部分，它是有充足的并行度的，它只要把模型从 GPU 的 HBM 里面读到计算单元里面一次，就可以把刚刚说的一句话里面比如 10 个 token 同时处理完，但是你刚刚指的 10 个 token 很有可能是你先喂给它的一些文章，那这些东西其实可以带来足够多的并行度，让 GPU 把它的算力都充分的利用起来。但是到了推理这块比如说他要说好的，下面是我为你准备的一份采访提纲，比如说那这一句话里面每一个 token 每一个词都意味着你需要把你的模型从存储阶级里面读上来一遍。这个是我觉得更形象的说了在读取模型次数上面大家可以很清楚的感受到你是一句话读一次还是一个词读一次，读的量都是整个模型的权重。实际过程中我们看到因为 GPU 它其实不能接受你把模型从 HBM 读到计算单元里面，就只真的处理一个用户的 token。所以它真正做的其实是它要做我们叫 batching 或者批量化处理这样一个操作，它要收集一万个用户的不同的推理的任务。它虽然对于一个用户来说，它必须要顺序的一个词跟着一个词来推理，但是它可以并行的把这一万个用户里面的所有的比如第一个词、第二个词、第三个词一起推理出来。所以这时候从用户的角度，他会感受到为什么我这推一个 token 这么慢的点，其实核心在于如果用 GPU 来做这件事情的话，你不光是在等 GPU 推理完你自己这一个 token，你还在等 GPU 算完和你同一批里面其他 9999 个用户的这一个 token。因为 GPU 这种大的算力密度用 HBM 提供了非常昂贵的带宽，导致其实用户体验下来，现在不管是 agent 的场景还是 reasoning 自己思考的场景，大家对于推理的速度有比较强的限制。
00:10 - 00:20
泓君：
对，那如果用推理芯片呢？
Mark：
我觉得推理芯片其实是一个非常非常非常范的词，因为本身推理也是一个足够复杂的任务，分这个 Prefill、分这个 Decode、Decode 里面其实因为模型还分什么 Attention、FFN，我们是觉得未来我们希望的推理系统，就它里面可能包含了很多种不同的芯片。能够做到把实际 decode token 这个过程做得足够便宜而且足够快。这可能是我们现在看到的一些需要打破 GPU 传统的这种架构，做一些更针对性的新的架构以及用一些有异于 HBM 的其他介质来做的意义所在。
泓君：
我知道你们也在做这个方向，从现在市面上已经出来的说我要自己做推理芯片的这些公司来说，你觉得做最好的是哪一家，比如说 Groq 怎么样？
Mark：
我觉得 Groq、Cerebras 都是在这个技术路线上，我觉得大家是看到了正确的问题。我觉得他们确实在已经把东西做出来，而且像 Groq 现在和英伟达配合的关系，确实是我们设想中比较理想的比如 GPU 处理哪一部分任务，然后由 Groq 处理哪一部分任务。所以我觉得整体在这件事情大的方向上面，尤其是在英伟达把 Groq 产业之后，更好的做一个异构推理系统的这个角度来讲，其实我现在是比较看好 Groq 的这个技术路线。
泓君：
怎么说，可以展开聊一下吗？
Mark：
我觉得最关键两个点吧。一个是怎么提供刚刚说的高性价比的带宽。包括我们最初想做我们现在的这个项目，其实也是因为看中了有远比 HBM 要好两三个数量级更好带宽性价比的介质。这种介质其实不在介质本身，而在于你要关注局部性的问题。你要提供比起 HBM 更高一层的局部性，也就是 HBM 其实是把存储和计算放到一个封装里面。这个其实是 HBM 它之所以带宽能做到很高但其实我们是希望把这个高放到下一个层次就我们希望把存储直接放到计算的芯片里面因为带宽其实核心就是你连线的密度以及频率当你把这个线从封装的走线变成了计算芯片内部光刻的这个线这两种线的本质在线的密度、线的成本，包括能耗上面都是有本质的差别的。如果有些介质让我能够把模型权重放到我的计算单元或我的计算芯片上面，那其实就是一个质的提升，这个是解决最本质的带宽的问题的方法。而 SRAM 只是刚好一个在目前这个阶段最成熟的、最可靠的，可以让你有机会把存储放到计算芯片里面的一个方式。嗯，现在 Groq 是这种方式吗？我知道你们要做这样的方式，然后 Groq 也是这种方式。对， Groq 是这种方式，就是我刚刚说的一个点。然后另外一个点，其实我去觉得是异构的这个点。就我之所以觉得 Groq 比起 Cerebras 做的稍微好一点的点，其实就在于它和 GPU 可以更好结合起来。因为我们刚刚聊到的推理的这些过程，大家发现推理不是钢板一块，它里面其实有这个算力密集的部分。就当你同时处理第一句的 prompt 的部分的时候，你是有机会做的很算力密集的。那部分更多的 GPU 做的也很好。如果你未来的一个系统是一个更好的把依扣这个点可以做的比较极致的话，那其实在芯片以外的系统层次，我觉得会有更大的一些优势。
徐子扬：
我们其实刚刚的一段时间的讨论都是围绕着云端的推理芯片。推理芯片是一个很巨大的市场，其实还有端侧的推理芯片，云端的、边侧的，大家各有侧重。我们这里也会更深入地研究云端这个推理芯片它是什么样子的。大家都要去获得相对低廉的这个带宽，但比如说在端侧上它有其他的一些限制，比如它物理上的空间上的限制。它这是一个小设备，它没有办法把足够的这个内存的带宽放进去。对，然后还有一些功耗上的限制，这样就导致了在端册上面我可能会看到还有其他的一些思路，比如说 3D、DRAM，其实有很多思路都在提供更高更便宜的带宽。包括我们现在听到的所有 HB 开头的这个词，HBM、HBF，它都是想要把原先的一个介质做到更高的带宽，当然在这个做的过程中也希望它能更便宜。那我先花一点时间解释一下我们这集要频繁提到的三个词 SRAM、DRAM 还有 HBM。最简单的理解方式就是它们都是存储数据的地方，但是区别就是说离干活的地方有多远。DRAM 是你电脑里面的内存条，它能装很多但是离得远。来回取数据要花时间。HBM 它是把 DRAM 搬到了计算芯片的旁边，而且还开了很多条的通道，所以它的容量大速度也快，现在英伟达它的高端 GPU 用的就是它。那它的代价是什么呢？就是贵，而且全球的产能非常紧张。SRAM 不一样，它可以直接做在计算芯片里面，所以它其实是最快的方案，快很多。但是它有一个致命的缺点就是太占地方，存同样多的数据，SRAM 需要的芯片面积是 DRAM 的几十倍上百倍。所以我们总结一下，就是说 DRAM 它的方向是便宜但是慢，HBM 快但是贵而且抢不到货，SRAM 最快但是它装不下。
泓君：
那好，子扬你继续。
徐子扬：
对，但是我们刚刚讨论的在云端这个场景，我们可能对整个系统铺多大没有那么大的限制，只要它能给我们提供足够多的吞吐。那我们会去很本质地考虑在这么一个限制条件下，什么样的物理介质能为我们提供最密的连线和最高的带宽，所以我们是找到的 SRAM。另外一个补充点就是 Groq 和 Cerebras 这两家公司本质上的速度和可能性价比他们没有在注重说这一点，其实都是来自于 SRAM。不仅仅是他们，现在其他的一些美国的 AI 推理芯片的创业公司，包括 D-Matrix、MatX，他们也是往 SRAM 方向走的。并且大厂 TPU、Trainium，如果我们去看现在所有发布的芯片，每一代它的 SRAM 都是变得越来越大的。每一个具体的云端的推理的解决方案里，大家用 SRAM 的方式是不同的。比如说谷歌他可能会把 SRAM 用更多来存 KV Cache 至少他的 blogging 是这么说的。其他的公司都有其他的设想，但本质上用好这个大带宽的介质来把整个系统的访存更加速更廉价。整个 SRAM 和现有的其他的提供存储的介质来比，从带宽这个角度，它无论是绝对的数量，还是它每块钱能买到的它的性价比都是非常高的。所以其实我们能看到大家都在往这个方向去收敛。
泓君：
嗯嗯对，因为我刚提到有 trade-off 嘛，大家可不可以先跟大家一句话总结一下，Cerebras 它相当于是在一个巨大的晶圆上做一整块的芯片设计，它的优点是什么，缺点是什么，它跟 Groq 相比它的优劣是什么，然后大家各自的 trade-off 是什么？
Mark：
对，我觉得可以以一个更统一的视角去看大家做的这些事情。比如以 Cerebras 和 Groq 为例，我觉得大家是在 Transformer 还出来之前，就看到了未来可能有一部分 AI 的系统是对于带宽有非常非常大的需求的。大家都经历了我们刚刚经历的这个思想过程，怎么把带宽做得更便宜，做得更高。最后都发现其实 SRAM 是一个比较好的介质。但是做这件事情似乎有 trade off，就是你要跳出 local minimum，你是要损失一点东西的。SRAM 损失的东西其实就是单芯片的容量。DRAM 是一个晶体管和一个电容去做一个比特存储，然后 SRAM 本质需要六个晶体管。这代表它面积存储一个比特的代价会变高，一个芯片上能做的容量会变得很低，可能比 HBM 要低两个数量级。大家都发现了这一点，怎么把容量提升呢？就是最简单最直接的就是你要把整个系统做的很大，你要做几百个芯片几千个芯片，单纯就为了把你所有的模型全程都能放到六个晶体管的 SRAM 里面。大家就会发现放式都能放下去，只要我系统做的够大就能放下，但这问题在于你光放下了，它如果就在里面存着其实不能产生 token，你得以一种方式把它读出来并且做有效的计算。这时候大家会发现当你系统做得足够大了之后，很多计算或整个系统效率的瓶颈就卡在了怎么做通信这件事情上面。所以本身大家思想的思维实验其实都做到了这一步。这时候 Cerebras 和 Groq 开始产生分歧了，大家用了两条不同技术路线来尝试解决大集群通信调度的问题。Groq 的思路是因为这个实际的调度它如果在运行时去做，那开销往往会很大。他希望把这个实际的调度放在运行之前，也就是在编译器这个时间点，就把未来芯片整个系统里面可能做的所有的计算、通信都想明白了。我们哪个时钟周期要做什么样的计算，然后我哪个时钟周期要开始做通信。他把这些都排不好了之后，实际运行的时候就没有调度的这个问题了。这时候某种程度上缓解了刚刚说的集讯大了，调度成为瓶颈的问题。Cerebras 我们觉得就更简单粗暴一点，就是说你之所以集讯通信有代价是因为你是要一个柜子几百个芯片做这个事情，大家总是物理距离的嘛，那如果把你一个柜子的事情塞到了一个大的 wafer 上面，那自然这个物理的距离啊，然后它能出的这个线的带宽啊都会变得更好一些。但是我们看起来首先他们在他们做这个技术决策那个时间点没有足够的信息来支撑他们未来需要具体面向哪样一个 workload 来优化因为那首 transformer 其实还没有出来 Cerebras 最后可能面临的比较大的技术挑战就是如何控制这一整个 wafer 的良率以及成本这个可能是他最大的挑战 Groq 的话其实是在他做出我需要依靠编译器做完全静态的调度和编译这个选项的时候没有办法去预先知道现在原模型 Transformer 推理里面有如此大的动态性。就比如 MOE 的产生其实原理上和它做出的技术选择并没有匹配的很好。
泓君：
这个怎么说可以详细解释一下吗？
00:20 - 00:30
徐子扬：
对，其实 MOE 这样一个网络它是有非常多的专家，然后每一个 token 在推理的时候，它是去激活专家里的一小部分。这个一小部分是在运行时决定的，随着我们不同的 token 在选择，比如说在 128 个专家里头去选 8 个。这件事情你没有办法在编译的时候去预测，它是不同的 token 它是会选不同的专家的。所以我们再去考虑现在的单颗 SRAM 能放的容量的时候，它没有办法把整个网络都放进去。就一定会出现有一些专家在一部分芯片上。那这里就有一个调度问题，我要把这样的一个 token 送到哪一颗芯片上去。这本身是有一定的动态性。如果我想要用一个静态的方式去解决这个动态性，一种思路就是我非常的保守，我把它都送过去，那有一个叫做空转。那另一种解决方式我就换一种方法来切这个模型。但是具体的我们推演了，如果你把这个模型不用这个专家去切分的话，现在这个模型的大小很难用其他的这几个维度把它切得很干净很高效。所以刚刚的这个动态性就变成了它的静态调度的很大的问题。
泓君：
对，我印象中 MOE 应该是当时 DeepSeek 那个发布，它变得非常主流，引起大家强烈的关注的。但是 NVIDIA 在 acqui-hire, Groq 它应该是在 2025 年底，我觉得他们应该也是能看到这些问题的。它当时为什么会做出收购的这个决策，大家有没有一些相关的消息跟推理？
徐子扬：
因为本身刚刚说的从一个保守的方式来去想，它会有一些芯片空转，这件事情只会影响性价比。
泓君：
对，但它依然是当下除了 GPU 以外，比较好的一个选择，就是它还是需要一款推理芯片的。这里就说到了现在市场上对于 Groq 和 Cerebras 它的定位其实就是快。性价比呢？
徐子扬：
性价比其实没有被拿到台前上去那么多的讨论。就是低延迟。对，现在整个商业逻辑是这样的，如果我做的这个推理比别人快几倍，比如说我是 100 token 每秒，但是拿 Cerebras 能做到 750 每秒，甚至 2000 token 每秒，那么我可以为此付非常多的溢价。
泓君：
所以 Cerebras 跟 Groq 谁更贵？
徐子扬：
我觉得是 Cerebras。
Mark：
Cerebras 更贵。
泓君：
我们待会儿可以聊一下为什么。
徐子扬：
对，在这个角度上来说，比如说 SRAM 有一些芯片它空转了，它并不影响我能做到很快这件事情。另外一个角度是本身 SRAM 和 HBM 相比，性价比其实是有两到三个数量级的优势。所以我们在做整个系统里面其实可以浪费掉。一个数量级。对。
泓君：
为什么浪费掉？你换取了什么？
徐子扬：
它首先有三个数量级的优势，那我牺牲掉一个数量级我还是可以比它更好。所以牺牲掉的其实就是它为了解决这个 MOE 去做技术上的一个 trade-off。哦，了解。所以哪怕现在在使用 SRAM 这种多卡的系统里头，没有充分利用所有 SRAM 的带宽，从带宽这个角度来说，性价比还是更高的。对，我觉得从商业的角度来讲，当你可以做出一个比别人更快而且更便宜的东西的时候，你不会告诉别人你的成本其实更便宜的，因为别人如果愿意为更快买单的话。
泓君：
对对对，Jonathan Ross 他其实也是谷歌 TPU 的一个奠基人跟创始人，对不对？他在设计这两套架构的时候，他的主要思想的核心的关注点的区别是什么？
徐子扬：
整个 Groq 的这个思路其实围绕着编译器发生的，因为 Jonathan Ross 本身也是编译团队的一个 Lead,然后他出来做这个整个东西的思路，就是把一个确定性的编译，然后围绕这个编译去做这个硬件。所以就从静态的编译和静态的调度这里重新设计了硬件。刚刚说的一个静态的调度是一点，还有另外一点其实是一个 determinism，它是一个确定性。比如说我们想要从一个存储介质里面把东西读出来，它是 100 纳秒之后出来还是 3 秒纳秒出来，它是会有一个抖动的。这个抖动在 DRAM 之中里头更明显。当它用了整个 SRAM 再加上芯片的设计，它其实是去把这个确定性做到极致，也把静态的时钟的同步做到极致。这一切都是围绕着最后我能在编译器看到整个系统并且为它做这么样一个排列。但是就它创业的这个时间点的一些特性。16 年 Groq 成立，他们最开始想要做的很多是和图像和语音，但他们一直想做的是推理。在那个时代，它的整个模型和今天 Transformer 和包括 MOE 出来以后模型是不一样的。所以包括一些动态性在那个时间点和今天它的需求是不一样的。在那个时间点如果我会去决策的话，我也会觉得围绕着编译器去设计硬件是一个非常有意思的思路，到今天也是一个很有意思的思路。但是可能今天会有一些问题就需要用一些方法去解决。
泓君：
对，我们刚刚讲到了其实 Groq 跟 Cerebras 都是有一些时代的局限性在里面的，比如说他们创业的那个时间点，那个时候生成式 AI 跟大模型还没有出来，但是其实深度学习整个业界应该是一个比较主流的方向了，但是是不是以 Transformer 为主的，我们不知道，包括我们刚刚提到了像 Groq 它在事前预测的时候跟 MOE 也会有一点点小小的不 match,那 Cerebras 为什么它的成本比 Groq 还要高？包括它当时创业以及现在在 2026 年的这个时间点，将近 9 到 10 年之后，它又站到了一个大家关注的焦点上，你觉得在这个中间它调整了什么，做对了什么事情？
Mark：
我觉得我先回答第一个问题吧，就是关于我为什么刚刚第一反应是它的成本会比 Groq 高。一个是首先它从本身的技术路线来上来讲，因为它更多是需要以一个 wafer 的 scale，以一个整个晶圆的规模去生产它的产品。这时候其实会遇到在芯片生产过程中非常关键的一个参数，就是良率。如果我们按照传统的，比如像我们现在设计芯片，可能单芯片尺寸的极限就是差不多 800 平方毫米。如果在这样的项目的话，你一个晶圆上面可以切出四五十个类似的芯片，可能三四十个的。所以你的良率会影响这三四十个里面有多少是好的，有多少是坏的。比如说你的良率是 50%，你可能就能切出 20 个是好的。但如果当你单一芯片或者单一产品的尺寸就是整个 wafer 的时候﹐那只要这个 wafer 上面可能有超过 30%的瑕疵，因为 Cerebras 很大的工程上面的技术壁垒在怎么接受这个良率，比如它能接受到 30%的这个良率，但是你是没有这么多个晶圆可以让你切出 30%的这个良率的水平的。你是想说百分之三十的良率还是百分之七十的良率？其实这样我觉得是有两个良率的概念。比如说正常的一个芯片，如果我们没有做任何 partial good 的设计的话，比如它好就是好，坏的就是坏了。这是我刚刚说的比如百分之五十良率我们能生产出来二十个好的芯片。但是 Cerebras 会做很多事情在于我接受我这个芯片上面 30%的点都是坏的，仍然让我这个产品能用。但这时候仍然和你其实大概率里面 40%、50%都是坏的这个良率是不匹配的。而且它的坏是一旦你整个晶圆达不到它对于良率的需求，整个晶圆其实就作废了。
泓君：
这个背后就意味着当你要刻出或制造出一个成功的或好的晶圆级的产品的时候，成本是非常非常高的。这个成本能达到多少？就是一次流片。
Mark：
这个不是流片的成本，这个是实际，因为整个芯片成本就是两部分。流片的成本在如果你出货量足够大的情况下，它是可以被摊薄的。比如你去做个玩具，对吧？
泓君：
做玩具，一个玩具一块钱两块钱，但是你可能找那个玩具厂开模。对，它在更上一段。对，它是那个演磨的成本，或者首次流片的成本，其实是开磨的那个成本。那个不会直接影响到你实际磨开了之后，你玩具是每造一个需要多少成本，这是两个概念。
徐子扬：
但是 Cerebras 的问题在于，就是你这个磨开完之后，仍然你每造十个，可能里边九个都不能用，那这时候其实影响的是你实际生产时候的成本。对，我觉得除了刚刚说到的良率和怎么用的问题，它还有一个整个系统要为这么一个和其他芯片都完全不一样的设计做系统的改变。比如说刚刚说的软件上，这整个晶圆上可能是有几十万个小的 Core。坏了哪些部分我是能绕过去的，如果坏在一些比较关键的部分是怎么做，这些事情之前都没有针对这样一个系统研究过。
Mark：
所以他首先要解决这边的软件问题，还有你这个系统要怎么去插到这么一个机柜里，这里也有一些额外的事情他都要自己解决，因为他可能是现在唯一一个比较有名的这种晶圆级的生产商。我觉得这个问题非常非常复杂，我们要捋一下这个逻辑。首先当我们说实际的成本的时候，大家最关心的其实是 token 的成本。token 的成本其实是我们刚刚强调了很多带宽的成本，因为你每推一次 token 意味着你要把整个模型从这个存储介绍比如在算法里面读上来。但是最终大家关心这个 token 的成本其实回到这个数据中心本质的成本其实有两个部分就一个是你去采购这个系统的成本另外一个是你实际运行中电费比如能源的消耗这部分的成本大家计算的方式是比如说我有一个新的芯片我要建一个新的数据中心我计划这个数据中心比如服务三年或者服务五年的时间内我能推理出多少 token 可能是一个非常大的量级除以整个的我需要消耗在上面的硬件的成本以及能源的成本 Cerebras 刚刚提到的所有由于良率导致的成本高，都是它硬件的那部分成本高。这部分其实某种程度上摊薄了，它能够在实际带宽上获得的收益。就比如说我们看到如果是简单的芯片，没有那些良率的问题。可能我单芯片的成本可以做到英伟达的十分之一，然后带宽可能做到它的十倍，就比如 Groq 这种形态。但由于它制造那部分的成本太高了，它很有可能是比如十倍英伟达的带宽，但是三倍 HBM 的成本。
00:30 - 00:40
泓君：
就这中间带宽实际的性价比就要打一个折扣，这个其实很类似，比如 Groq 我们认为要在为它的确定性打一个折扣，那 Cerebras 要为它的复杂的良率成本打一个折扣，最终这个折扣是要打到 token 的成本上面的。对，我记得在 80 年代的时候也有人想做这种晶圆级的芯片，但是失败了。为什么现在做芯片是一个好时候？之前去做各种奇奇怪怪的芯片实验，包括 Intel 也出了 Itanium 芯片，有一个灾难的被丢掉的这么一个芯片的架构。
徐子扬：
去做我们说这种异构的或者是一个全新的芯片，或者为了芯片它可能对软件站有一个新的依赖，它有两件事情。一个是经济性上，我做一个芯片要对它投入的研发成本和新的生产设计的成本，我需要能摊薄。所以在之前的那些时代，我们没有看到一个单一的大应用能够像今天的 AI 一样，这么容易把摊薄这件事情说清楚。现在 AI 的各种系统开销里面，我们去留一次片的几百万美金上亿的研发成本，好像都不算一个大的数了。所以在今天去做一个新的芯片本身，经济上的难度降低了。第二个是今天这个时代做软件站的难度其实大大降低了。为什么？因为尤其是推理芯片这里，一方面是我们有一个单一的大应用，以前在 Intel 里头它可能会有几百个重要公司的几千款应用，每一个 CPU 要设计出来。它要在这几千款应用里面都跑一个测试，我们叫 benchmarking，最后它要和它之前的一代芯片相比，不能任何一个公司任何一个应用掉队太多，这样就会影响。所以你之前的这个做芯片你要就做了整个软件优化，你要考虑我要把这几千个应用都要做好。今天的话其实只有一个单一的大的应用，甚至这个单一大应用里面只有一个比较大的一个模型分类，就是这种 Transformer 的这个分类。它本身也是一个大力出奇迹的，所以它本身的结构是相对简单的。我们看到现在这个模型就几十层，几乎结构一模一样的层，所以你去分解来看，它的本身应用简单了很多。第二，随着 AI 的 coding 的能力、编程的能力在不断地提高，软件这种尤其针对推理的 kernel 算子的优化，其实可以被 AI 大大加速的。所以我们在看到这种新的模型出来了以后，有一些新的需求在和之前的模型差别不是很大的时候，AI 自己就可以解决这个问题。
泓君：
所以软件站上的入门的门槛被降低了。英伟达为什么要花 200 亿去 acquihile Groq？英伟达最看重的点是什么？
Mark：
我觉得这也很 straightforward。就确实我跟 Bill 会聊很多技术上面的一些需求是 GPU 这个架构没有办法很好解决的。其实就是大家看到了推理上面带来的新的大带宽的需求。我觉得从 Nvidia 的角度，它也有一些大公司有些技术架构上面，比如 CUDA 的护城河，对于它来说既是一个很强的护城河，同时也是在某种程度上创新的一个包袱。但是它确实我觉得 Jensen 很清楚地意识到了，未来推理里面，算力不一定是唯一的，它需要补充带宽的这部分技术能力。综合各种原因考虑，acqui-hire 一个有这种能力的公司，我觉得是一个非常好的决定。
泓君：
对，我刚刚其实也是在想，因为达他肯定是能看到趋势是什么的，他也知道他哪一部分是短板的，他其实也是可以从内部做的，但很难吗？
Mark：
对，因为我会知道就是因为 Bill 在 NV Research 嘛，他们其实会做非常多的架构层面的创新，而且从很早就开始做。当然这个 CGRA 什么东西，paper 其实都发了很多，但是这个东西在一个成熟的公司里面把一个 research idea 颠覆式的推给产品的团队还是难度非常大的，即使是英伟达这样的公司。
泓君：
不如我干脆 acqui-hire 一个和之前团队没有什么关系新的技术团队。对，所以你觉得现在比如说我们在做一个推理芯片，或者在做芯片，因为我们之前说英伟达它有很大的一个护城河是它的 CUDA 的体系，你觉得有多大程度上可以绕过 CUDA 或者说建立一套全行业通用的软件体系？
徐子扬：
对，所以从推理芯片这个角度，我觉得绕过 CUDA 是百分百会发生的。
泓君：
事实上比如我们去看这几家大厂的推理芯片，比如说 TPU，比如说亚马逊的 Trainium，都没有一丁点的说要兼容 CUDA。但依然大家会觉得 TPU 它的软件系统是难用的。就是为什么 Anthropic 它能大量地去采购 TPU。我听到一个说法就是因为它有很多的工程师是谷歌过去的，大家知道那个 JAX 在这个上面怎么用。但是呢，如果你让一个从来没有做过软件编译器的工程师去做这件事情的话，大家会觉得还是难的。就是 TPU 在这个软件层它还是一个黑盒，除非非常懂的人，除非谷歌自己的人。
徐子扬：
对，关于这个本身难的这件事情，其实我刚刚那个问题是很好回答的。它只要不是非常多个难的问题，是一个难的问题，那我解完这个问题，这事就解决了。我只要把 Transformer 里的所有的算子都在这个新的芯片上写出来，那我 Transformer 就能跑了。我这个商业上的逻辑其实就通了。然后第二个就是有了 AI 的加持，现在我们看到针对算子和整个运行时的开发其实大大加速了。
泓君：
我先说一个结论，大家认为推理芯片绕过 CUDA 是一定的事情。
徐子扬：
对，然后我想说一下原理，比如用 TPU 的软件，用 AWS 的软件，包括比如用华为的软件，其实很难用，这一点我不否认。核心的点在于训练时代和推理时代，大家多么愿意为软件的好用买单，相比于为绝对 token 成本降低买单。我觉得这一点在训练时代和推理时代发生了比较本质的变化。有一些软件它是很难用的，但是如果难用能够带来它有更好的性能，有更好的性价比？这个在推理时代可能大家的天平会更多的往更好的性能性价比上面倾斜以至于我们看到的很多已有的做法比如说 DeepSeek 虽然它用 GPU 的芯片但其实它更愿意本质的去写很底层的 PTX 的汇编的那些代码去做很底层的优化我觉得这是为什么我们觉得推理时代 CUDA 是一定会被绕过的。
泓君：
我们刚刚一直在说成本这件事情，那现在来看 Groq、Cerebras 还有你们未来做的芯片，你觉得它的性能跟性价比相比于现在用市场上主流的芯片，我们说 GPU，大概是一个什么样的量级？已经做到的情况下，我们刨除掉所有的因素跟比如说我们刚刚说的一些正面跟反面，就是现在综合的一个性价比。
Mark：
从我们很多原理分析的角度，认为未来一个更理想的整个的推理系统，我觉得是有机会在速度上做到比现在 GPU 或者以通用 AI 芯片 GPU、HBM 这种架构，在推理速度上至少两到三个数量级的提升。
泓君：
就从可能几十个 token per second 到一千个甚至一万个 tokens per second 这样一个对于单用户推理速度的提升，以及十倍左右性价比的提升。那你要不要讲一下你们的 SRAM 的解决方案是什么？你们做推理芯片的方案是什么？
徐子扬：
对，我们其实刚刚说到了 SRAM 本质的性价比，还有一个它的 trade-off 的点，就是它的容量。所以我们本质上就是在 SRAM 和 HBM 本质有两到三个数量级的芯片层的性价比的提升的情况下，我想最后把它变成整个系统。在有比如说上千颗芯片的时候，它还能有十倍，就是一个数量级的性价比的提升和一到两个数量级的速度的提升。本质的说我们一个芯片上能放的 SRAM 的数量，这个是很公开的，就你单颗芯片上就是几百兆币的 SRAM 的数量。现在的模型大概在一个 T，如果是 FP8 的量化的话，那也是刚好是一个 TB 的这样一个量级。所以你把这两个数除一除，大概需要上千颗芯片才能在容量上放下整个模型，才能去做相对应的推理。所以我们在做的事情就是如何把这上千个芯片用某一种拓扑把它连接起来，使得中间的每颗芯片和芯片之间的连接不成为我推理时候的瓶颈，然后让每一个芯片这个 SRAM 它本身的带宽充分地利用起来。肯定会有一定的损失，但是在这个损失最后折算下来，整个系统的成本和它的带宽要能提高 10 倍的性价比。所以我们从技术上来看，单颗芯片，比如说 500 兆币这样的一个大小，去放模型的参数。我的整个 token 的隐藏的叫 hidden state，一点一点的穿过我们的芯片网络，从一边走到另一边就是出最后的结果。还有一个点是我们这个芯片刚说到一个很重要概念是异构。所以我们的芯片和我们的系统不会去做整个模型的所有的事情。因为我们很相信应该用最合适的硬件去做对应部分的应用。所以整个模型会被区分成注意力的一边和非注意力的 FFN 的一边。然后我们会比较类似 Groq 也不完全一致的去做后半段非注意力的一边。
Mark：
对，然后这个我觉得是解释一下为什么本来是三个数量级的成本性价比的提升最后变成了 10 倍。其实是因为 M.Slow 是一个异构的系统，我们解决了 90%的问题，但是我们留了那 10%的问题给 GPU 来解决。所以最多我们的系统就能提升 10 倍，虽然我们可能以 1000 倍的提升效率解决了那个 90%的问题。
泓君：
我觉得现在其实整个中国不管在训练推理上芯片其实都是供不应求的，我们都不说产业链了，就从芯片层面上也是供不应求的。从你们现在开始做到整个的芯片会出来，你觉得大概它需要一个多长的时间呢？
徐子扬：
这是一个非常好的问题，其实我们也在不断地更新我们对这部分的认知。因为传统上做一个芯片就是从你开始设计，从用户端开始反推，直到流片测试大概是一年半到两年这样一个事情。但是我们也看到 OpenAI 发布了自己的芯片的时候号称是九个月完成流片。当然有其他的一部分原因，但我们的确是认为在足够聚焦且 AI 可以赋能的情况下，我们是觉得流片的节奏和更快的迭代，对，这个迭代的节奏可以加快很多。真正制约我们的当然还有一些物理上的设计和流片那一部分，但剩下的部分我觉得会慢慢的更像一个软件的公司。
00:40 - 00:50
泓君：
哦，有意思啊。Mark 你刚刚一直在说你是在用一套全新的架构去解决这个供应链上的问题吗？它是一个更底层的创新吗？从推理的角度还是它是一个微创新？就像你刚刚开始我们提到的。
Mark：
我们用全新的架构肯定，就供应链的问题是一部分可以顺便解决的，
泓君：
但是肯定要解决最本质的问题是我刚刚说的 token 的速度、token 的成本的问题。相比于现有的推理芯片，你觉得它是一个颠覆式的创新还是一个微创新？
Mark：
是一个在架构层次颠覆性的创新。因为其实分了很多不同的层，因为你芯片造出来其实有很多物理上的事情要解决，比如光刻的事情怎么解决。再比如说现在国内很多公司，包括英伟达其实都很希望解决的 3D 堆叠的问题，又是另外一个层次的问题。但其实我们是希望在我们做一家 AI 芯片设计公司，在芯片设计以及系统设计这个角度，做真的颠覆式的东西来提供更好的产品竞争力。
泓君：
对，你们觉得怎么样去判断一个推理芯片它是不是好的？大家的评价框架是什么？比如说每个 Token 产出的成本、推理的速度、然后每个 Token 的耗电量、芯片的算力到底被利用到了多少、利用率、以及软件跟编译器。你们觉得哪些方向是重要的？
Mark：
我觉得在推理的时代前三个是重要的。前三个，成本、速度、耗电量。对，然后第四个会影响第一个，就是你的利用率会影响到你的成本，但是最终大家关心的肯定是成本。就因为我们看未来整个系统是异构的，所以对一个芯片来说，它可能并不能单纯地从它的算力、带宽、容量，让大家对整个系统产生一个综合的认知。未来衡量芯片的好坏一定要在系统这个层次去衡量。
徐子扬：
还是要再强调一下我们在说的这种云端的 AI 推理芯片。如果我们说的是一个盒子或者放在手机上的芯片，可能每一个 token 的成本并不是最重要的事情。它最重要的可能是我最多花 100 美元为这个芯片付这么样一个成本。这 100 美元能达到某一个速度的推理，这个东西就能卖得出去。所以对于这种端侧的 AI 芯片，它考虑的是完全另外一个事情。但是从我们云端的考虑，最终的成本会被分解到每个 Token 的成本。所以我们会第一优先级的去考虑这个 Token 生产的成本是什么，第二优先级的去考虑速度。但是速度我们认为是未来非常重要的一个指标，是很核心的一个 AI 资源的一个指标。后面的用电量在云端的角度来看，在今天的总的持有成本，现在用电量是在整个比例里头是较小的那一端。国内和美国其实这一点上有比较大的区别。
泓君：
对，主要是美国缺电缺能源。
Mark：
对对对，这个可能是倒拐的，国内我们了解到大概是三分之一在电，美国大概三分之二在电。所以这个其实会导致大家有多关心，比如老黄天天讲 tokens per watt，还是大家关心 tokens per dollar。你刚提到能源三分之一的成本是说什么三分之一的成本？就是电费，比如算下来，刚刚提到 TCO 里面分两部分，一个是 CAPEX 一个是 OPEX。CAPEX 就是你买芯片买机房的这部分一次性投入。OPEX 是你比如说计划这一代数据中心运行五年，这五年里面你的功耗是多少，然后乘以时间长度再乘以你的电费，这部分是 OPEX 的成本。
徐子扬：
包括散热这些对应的能源消耗。
泓君：
如果你们在国内做的话，所以你们耗电量可能关注的就小一点。我觉得不是我们关注的小一点，是因为客户关注的会小一点。对，我是在想芯片之间你怎么去做性能成本的平衡。
Mark：
因为我觉得长远来讲，芯片成本是钱的事情，就钱不是一个很本质的限制。但是能源是，就未来我们看整个 AI 更大的一些未来发展的趋势的话。
泓君：
OK，如果你们遇到同行了或者看一家芯片公司，你们会怎么去判断一家芯片公司行不行？如果用一个问题去问这个芯片公司，你们会觉得它是什么呢？
Mark：
我觉得你刚刚说那三个问题其实都是很好的问题。但我觉得我们比较关心的其实就是两个问题。就是你的 tokens per second 可以做得多快多便宜。如果你还站在从芯片的角度出发的话，可能很多实际在做推理芯片的公司根本没有这个数字。
徐子扬：
对，我觉得从用户端的角度理解，就是在芯片组成的系统，它的 per token 的价格和它每秒对于单一用户的推理速度，
泓君：
这两个是我们关心的最核心的问题。推理速度现在会是一个核心的制约瓶颈吗？
徐子扬：
因为从我自己作为一个用户的体验来说，我觉得现在推理速度够用了。这是一个非常非常好的问题，是一个我们其实思考了非常多的一个问题。就是做快，这个快本身有多大的意义。我们先从今天的商业逻辑来说，自从 Agent 开始大规模爆发以后，我们现在大量的元模型产生的 token 其实并没有被人来赌。这里有两个点，一个是在 Agent 之前有个东西叫 chain of thought。这个是思维链它在产生 token 的这一部分其实不是给你看的，是给模型自己去产生最后结论这个智能的。这一部分的速度要快一些，因为它是最后给自己看的。agent 的这一部分它产生也不是给人看的，是去给别的 agent 去读的。所以人本身阅读 token 的这个速度的确没有那么快，我们可能做到 100 token 每秒，人就已经读不完了。所以今天的很多 GPU 或者别的系统它去反推的时候都是往着 100 token 每秒这个时间上去发展的，甚至会低一些 50 token 每秒。但是对于这种 agent 的系统，我们认为这个速度其实是一定程度上没有上限的，越快越好。这更核心的可能是一个 AI 长期的一个制约里头有一个刚刚说到的能耗，还有就是时间。我们在单位时间里面能解决掉多少事情，这个本质上就是我们要用系统的对单用户的这个速度去解决的。
Mark：
对我觉得刚刚你提的一个很好点就是你觉得已经很快了你觉得已经够用了然后我觉得核心点就是它一定会让你觉得够用了但是它会在别的地方去实现这一点比如说它知道用户不能接受我一个问题要想两天甚至一个小时可能都不能接受所以这时候实际上本质的限制了在这一天或者一个小时之内我能生产多少 token 来解决用户的这个问题所以推理速度更快并不意味着你要从一分钟的思考最后你跟他的交互速度要变成一秒钟而是在都是一分钟交互速度的情况下，你这个模型可以用十倍更多的 token 做更多内部自我的思考来提升它的智能水平。对，或者用 agent 的方式去做很多确实的实验来回答这个问题。
泓君：
有意思，就是在我看到答案的时间可能是一样的，但是背后是这个模型它思考了一遍，还是它思考了十倍，我这个问题的内容。
Mark：
所以推理芯片做的好可以让模型更智能，在同样的时间里。对对对，是的是。所以你看老黄的演讲的 PVT，他的这个图的坐标纵轴是 tokens per watt 或者什么 tokens per second per watt 是说 token 的成本。横轴其实他讲的就是推理的速度，那个 Bill 喜欢叫 interactivity，但是老黄的 PVT 里面那个横轴的标数就是 smarter AI。
泓君：
他认为推理更快的速度意味着整个 AI 可以变得更聪明，就是基于我刚刚的那个逻辑。哦，我理解了。所以说有的时候比如说我看到一些应用它很快能给我答案，可能只是因为 AI 思考的少而已。
徐子扬：
是，是。
泓君：
哦，这个太有意思了。
徐子扬：
对，我们甚至会觉得之后这个会慢慢地向大部分更大程度的 token 其实都在 AI 自己的这个系统里去转来，为你产生最终的那个智能。比如说如果哪一天这个 AI 系统足够聪明，我就说你去解决癌症。然后他在那慢慢去解决。这大部分的 token 是在他自己里头赚。这个自己里头赚的这部分 token 至少有一些思维链的速度当然是越快越好。剩下的可以用并行度去换。但是有一些逻辑思考的部分是越快越好。如果你问这么一个问题，比如说他用了 100 年思考，那可能对我们意义不大。那我们会希望它在有限的时间内解决。刚刚那个例子其实不是特别直接能体会出时间的紧迫性。但比如说我想让一个 AI 系统来判断明天的股票市场怎么样。它如果用两天的时间去想这个问题，那这个回答就没有任何的意义。所以我们为什么觉得时间是一个非常重要的本质约束？因为世界这个时间不会为了别的慢下来，很多事情是需要一个确定时间点之前就要得到这个答案。比如说等一个小时就不耐烦了，需要一分钟之内得到也是这么一个时间的卡点。我们就希望在确定的时间卡点里获得更多智能，这个就翻译成快。
泓君：
所以对最后的 AI 芯片的快其实是有要求的。因为我们说现在整个模型在训练、预训练的方法上，包括在推理上，包括现在整个 Agent 它的互联上，它是有很多的创新的。比如说刚刚我们提到了像思维链的这个模式，它可能就会对 Groq 它的这些整个工作的原理会产生影响。那我觉得现在模型也在提这个 RSI 。然后也在提强化学习，同时整个 agent 的市场它也在发生改变，所有这些在大模型、预训练领域里面发生的这些改变会影响大家芯片的设计，以及比如说你们现在在设计一场芯片的时候，包括我们说还有大模型跟所有的图片模型、视频模型、世界模型，它的不同的训练方法，所有的这些不同的预训练的方式会改变大家的芯片的设计方式吗？以及你们现在在设计的时候会往前看一两年两三年吗？
徐子扬：
先回答最后一个问题，我们肯定是要向前看的。向前看的时候是去找一些本质的会影响我们芯片设计的，就前半部分的这个问题。首先模型结构本身一定会影响，就比如说刚刚说到的这个视频生成，图像生成，这里头生成里头很大的一部分是一个 diffusion model，这种模型它和现在 transformer 的方式就是不一样的。所以我们就要做两个选择，一个是芯片做不做这件事情，就是异构的选择。我们去想清楚我们要解决的那个更核心的问题是什么。第二个是如果要做的话，在我们的心里面怎么做这件事情。所以像这种 diffusion 这种事情，技术上来说它是一个计算非常密集的一个事情。所以它适合的硬件可能是另外一种方式。另外一个去看本质的这个 transformer 它会怎么变，就是我们想要瞄准的这一块它会不会有很大的变化。我们先看这整个模型大规模的在变的是哪一部分，现在还没有收敛的算法上是哪一部分，和已经收敛的是哪一部分。这家公司优先去解决已经收敛的这部分，可以去做芯片的这一部分。所以我们现在看到的刚刚从模型本身来说，Transformer 模型里头注意力的机制这边其实在算法上还有非常多的格性。每一个新的 Lab 出来，它会经常发一些 paper 说我又做了一个什么新的思路。但是后面的这段 FFN 自从变成 MOE 以后，其实变成了一个相对不变量。刚刚说到有些 RL 的这些东西其实是没有本质的影响这个模型的结构的。如果这个模型本身结构是一样的，它只是尤其 RL 如果在后训练里头更是没有影响这个模型的结构。那这个对于我们来说就是一个相对没有那么重要的事情。
00:50 - 01:00
泓君：
所以你们现在主要是做 Transformer 的模型，就是 Diffusion 的推理，你们是现阶段还没有考虑进去的？
Mark：
对，更多我考虑问题的点其实是在于，未来 AI 的系统不管是什么模型，很本质的它会有两部分的需求。现在看到比较明确的有算力的需求，我们看到现在解决不太好的有带宽的需求。其实我们是希望找到一个最贴近于当前带宽需求的从芯片到系统的解决方案。这个未来我觉得不绑定在具体的模型上面，虽然我们现在看的肯定会觉得未来等我们芯片出来的时候大概率还是很 Transformer 更适合运行在我们上面。但其实我们是有这种比如说图像的生成、视频的生成，这些未来算法上有很大的空间，它可能也变成自回归式的，然后甚至是两种的结合。但这种的话就如果它变成了，我们可能可以支持很好，如果它没有变成的话，它天然就不是我们想解决这个问题面对的对象。
泓君：
嗯，了解。我看现在有很多的国产芯片，甚至我们说包括像英伟达的芯片，大家有一个宣传出来的纸面的算力的值。但是大家在真实地用起来感觉这个算力是不是没有跑满啊，有的时候是不是连一个对折都没有打到啊，这中间消失的算力去哪了，为什么会有一部分算力的浪费，它达不到这个理论算力的值。
Mark：
我觉得两部分吧，因为如果单纯想算力浪费的话，其实现在很多 Worker 包括现在的一些注意力的机制，很多应用，它的计算和访存的比例就没有长在英伟达 GPU 的甜点上面。这个是可能比较大的一些之所以算力用不起来的方向，因为你卡在带宽上，计算机体结构有一个这个 roof line。这总没法翻译的。好像是没有一个屋顶结构。对，它有一个基本的结构。
泓君：
如果你是带宽瓶颈，那显然你的算力就用不起来。然后另外因为推理其实是一个非常快速，有很多细小的算子组成的，你想每秒钟都两三百个 token 了。这时候你每一个 token 对应的计算任务其实变得非常细碎，比起训练的那种都是大矩阵相乘。然后这种细碎其实是会造成你有一部分调度的损失的。它是使用者用的问题还是芯片设计的问题还是软件层的问题？
徐子扬：
这三个都有。
Mark：
都有。
徐子扬：
对，其实刚 Mark 说到的那部分比如说算力和访存，这个就更本质一些，这个可能是硬件设计和现在用 workload 这个应用它不匹配造成的。再技术一点的话，现在经常我们会说它的芯片在等数据从别的芯片传过来，这个的意思就是其实是我们在互联中卡住了。任何的一个数据它没有及时的到要去算的那一边，无论是因为你在这一片上的 HBM 带宽不够大，你从那读出来的时间太长了，它的计算单元在那空转，或者是我要从别的地方传这个数据导致的空转，最后就导致了我们的这个计算单元在做矩阵乘法，现在的模型里最大的那个东西就是做矩阵乘法。我们在算 MFU 这个模型算力利用率里头基本上只在算矩阵乘法的这一块。所以一旦我们发现矩阵乘法在空转，我们最后会得到一个比较低的 MFU。所以我们就会说这个芯片没有被很好的用起来。回到刚刚那个 Roofline Model，我们其实在推理，尤其是为了高单用户推理速度的这个场景的时候，其实还有另外一个场景叫 MBU，是 Memory Bandwidth Utilization，访存的带宽有多少被用起来。所有的利用率它都是到了 100%，这一点就没有问题了。但是比如说我带宽拉到了 100%，我这个芯片是不是百分百用起来？也不完全是，因为这个芯片它又至少有两个单位，一个是访存带宽有没有百分用起来，一个是算力有没有百分用起来。这个就回到刚刚说的第一点，就是如果我设计的时候，我这带宽设计的非常小，算力非常非常的大，那我把带宽吃满的时候，我的算力可能就还是空着。
泓君：
是，所以它是一个综合的问题。你们自己在设计推理芯片的时候会把这些考虑在里面吗？理论上的利用率跟实际的利用率呢？
Mark：
我们会考虑在里面，怎么说避免一些实际执行过程中的调度，一些摩擦导致的利用率的损失。这点可能是我们更多可以在芯片设计上面做优化的点。
泓君：
大家要不要给听众的科普一下，比如说一个芯片它如果要设计一整个流程的话，它是什么样的？
Mark：
一开始的时候肯定是更多的架构上面的设计，其实是需求的分析。这个芯片定位是什么，我要解决什么样的问题，哪些问题是技术上的问题，哪些问题是一些客户的问题，有些客户可能要求一些安全性。这肯定是第一步的点，先梳理需求。为而这些需求就会有具体的高层架构的设计。这个架构可能包含了不光是芯片本身，就未来实际我交付的可能是一个服务器，甚至是一个集群。这种集群里面拆解到对于系统的需求，比如芯片兼互联的需求，对于服务器兼互联的需求。以及拆解到对于具体每一颗芯片的需求。
泓君：
而且我理解这个里面其实是有很多创业机会的。你做服务器集群是一种，你做芯片是一种。
Mark：
然后你卖一个从芯片软硬件一提的这种解决方案的可能还是一种。是，但是我的意思是从系统架构的层面，你要考得清楚你未来支持的场景是什么，以及围绕这个场景去做真的实际芯片架构的定义。到芯片架构定义之后就会有一些更多微架构的定义，比如说我芯片里面打算计算单元核打算怎么设计，核里面的矩阵单元打算怎么设计，向上单元打算怎么设计，然后我用什么样的指令集存储放在哪儿，比如说我们想用 SRAM 来做，SRAM 放在哪儿。这些都确定了之后，你就会有一个非常详细的特性列表 Feature List，这里面就会具体指导实际做 RTL 编码的时候该怎么去做一个一个模块去写 RTL 编码的编写。大家都说做芯片要一两年的时间，实际这一部分编写时间可能也就两三个月，但是大部分事情会发在比如前期的需求、架构上面。说到 RTL 编码之后，其实就是一些验证的工作。至少传统意义上来讲，大家说做一个大芯片，流片的成本是相当相当高的。所以大家希望在流片的时候保证这个芯片不需要有一些功能上的问题。所以在流片之前会做非常充足的对于芯片编码的验证，比如我写的是不是有 bug,要么比如说靠很复杂很多的测试用力，要么是比如靠一些形式化的验证从这个数学上去做证明。这个又回到了我当时在博士的时候做的强逻辑的那个东西，就是这部分的形式化证明就会用那部分东西去做。当你把验证充分的做完了之后，会有很多后端的东西，就是刚刚说的那些东西基本上都算芯片的前端。当你每一个晶体管怎么连都确定，后端会实际的把它尝试排布在可行的一个物理空间上面。就比如这个芯片的布局布线，线要怎么绕，不同的计算单要摆在哪儿。存储单元的比如长宽高的这些比例都需要靠后端去做具体的图纸，就真的变成了实际光刻，我需要在哪一块刻什么样的晶体管，这样一些信息。但是那个过程中又有很多的我们叫 SDC，就是根据比如 Fab 的一些信息去做很多重复的检查，但是最终就是要保证在流片的时候不要出很大的问题。等这些做完之后你就可以去流片了。其实流片本身这个动作是它去给你生产这个模具、研磨、Mask。这个其实只是第一次流片会有一个这个东西，因为你这个东西如果没有问题的话，后续的量产你这个模具就不用做特别大的改动了。等真的第一代芯片量产回来之后，又会有很多封装测试的东西在里面。因为其实本身大家看到这个英伟达的一个芯片好像都很大，都快半个手机大了。但其实里面真正实际光刻出来那部分占比比较小。更多的是要在一个比较大的封装里面去解决怎么把那么细的光刻的线引到我实际产品的板子上面的线。当然测试的工作在于刚刚说到有良率的问题。那你需要有一个很体系的方法，让你能够知道你造了一批芯片出来，哪些是好哪些是坏的。这本身又是一个很大的课题，到后面实际你要去交付的时候，如果你要交付一个比较复杂的系统，你又会涉及到比如实际你的 PCB 板子要怎么设计。你的芯片可能只是系统的一部分，上面可能会有一些控制芯片，有一些 switch 交换的芯片，有一些网口，其他的接口怎么去设计。
泓君：
再到整个集群的供电散热、供网怎么去设计这部分。我听到这段话我自己有一个感受，就 Mark 你太厉害了。我觉得芯片创业是一个门槛很高的事情，它的每一个环节首先它要解决无数的技术挑战，其次它是一个成本很高的东西，你需要很多的钱去做这些事情，去流片、去设计，然后承担各种流片的风险，包括到最后量产了以后我们要去控制良率，同时你还要去解决供应链的事情。因为现在大家知道包括连谷歌连英伟达他们在去做芯片的时候整个供应链上的各种环节都是缺货的。所以硬件是一个很难的事情。
Mark：
但是赔率足够大。
泓君：
对而且我之前其实有问过很多英伟达的科学家我就说你们其实有这么多年的经验芯片又这么缺为什么不自己出来创业呢？大家觉得这个事情要撬动的产业链太大了。
01:00 - 01:10
徐子扬：
对，的确，我们也不是一个人在战斗，尤其是后端其实是要和很多很多的合作方一起去配合的。我们这里更多的是把用户和这个模型怎么去设计这款芯片想得非常清楚了。后面会有非常多的和供应商的沟通和互相帮助的阶段。
泓君：
你们现在在整个设计过程跟流片跟我不知道你们到哪个环节了，可能到最后量产的环节，供应链会是一个问题吗？
Mark：
供应链会是一个非常非常关键的问题，因为我们看其实国内整个芯片的市场可能在未来两到三年都会长期处于一个供小于求的状态。所以未来我们是否能成功的关键并不一定在于比如说我们的芯片设计的多好，恒恒就在于能不能造出足够多的芯片了。但是其实在这上面我们反而有我们自己的一些优势。正是因为我们在设计上面有了很多比较大胆的创新，所以更多的放松了我们对于最先进制程的要求。比如说我们是有机会把大家可能用不起来或者已经认为淘汰掉了的成熟的制程用得很好，制造出来可能使用了成熟的工艺，但是在最终我们关心的 tokens per second, tokens per dollar 上面，所以是通过架构创新做到的。是的。
泓君：
但是在供应链上依然会是面临很多的挑战。
Mark：
是的。
泓君：
你们为什么要回国创业？其实 Mark 我觉得你的这个背景即使在美国创业也是会很成功的。
Mark：
我当时回国不是因为创业这一件事情回国，是因为当时毕业之后有一些在国内比较好的工作的机会，然后我也很感兴趣，我就已经回来了。所以我在国内已经待了三年左右，但这个过程中因为我很多 PhD 的朋友、导师、备忘还在美国，所以就每年也会有几次去硅谷和大家继续交流。虽然现在国内有这些先进制程的实际技术上面的一些限制和约束，但我觉得长远在一些更挑战比如控制成本、控制性价比的供应解决上面，国内整个的环境是有更大的优势。
徐子扬：
主要是供应链比较完善，供应商也比较多，即使你在美国可能也经常要回来看这些硬件的环节。再本质一点就是搭基础设施的这个能力，因为我们本身去搭的是一个推理的基础设施。这里涉及到几个最核心的点，比如说你的数据中心在哪怎么建，用水用电，中国有非常强的优势。可能还有另外一个点就是中国也是一个非常大的一个市场，它是能完全转起来的。
Mark：
其实还有另外一个角度，当时 Groq、Cerebras 做的比较艰难的点在于美国最主流的模型不是开源的。当你做一个很新的芯片，你要让也不懂你芯片的人适配你的模型也不太现实。你要强行让自己去适配一个自己不知道的模型也不太现实。所以当你做出一个芯片，你其实更希望的是有些开源的东西可以让你自己拿来跑在自己上面做出一些效果来。但是至少当时那些开源的比如像千问、像 Llama，显然不是美国最主流用的最多的模型。所以他们在商业化上会面临着短期只能看到逆时的那部分小的开源的市场。
泓君：
但是在国内反而是倒过来的，就是国内一些最强大的模型以 DeepSeek 为代表，智谱，至少在架构层面它们都是更开放，而且从市场角度来讲，国内可以稳定获取的最好的 AI 的模型的 API 其实也都是这些开源模型。但像千问也在做自己的芯片。我觉得这个问题是不是模型厂商也在做自己的芯片？对，你要怎么去竞争？
徐子扬：
如果是一个开源的话，模型厂商做自己的芯片和我们做芯片，他们没有比我们很本质的优势。做这个系统要把系统其他的部分想清楚，在这一点上模型厂商他不是做这个。
泓君：
但他们可能更加先进的模型并没有完成开源，以及他在设计模型的时候，他的软硬件团队是可以协同的，比如说谷歌的 TPU。
Mark：
他可以在模型往前发展的时候就把芯片应该怎么设计考虑进去。就我觉得是首先模型厂商分几类吧。一类是比如传统的互联网大厂，我们说国内啊。就当他们做芯片的时候，因为本身如果你同时做模型，你同时会有很多训练的需求。同时你的模型也是种种多样的，你会有很多像自己也有 C-Dance 那一部分模型的需求。当你开始投入资源做芯片的时候，你希望芯片不要那么针对性的只对你部分的需求有效果，而是说要更好地兼容你上面所有对于 AI 有需求的业务，包括训练，包括各种图像生成，也包括这个 Transformer 推理。我们看到实际大家在做的可能还是更多的去替代已有的通用的 AI 芯片。
泓君：
嗯，训练偏多。
Mark：
训练或者通用性偏多，就实际用可能推理也很多，但推理里面可能有一部分是 Prefill，有一部分比如说是图像生成、AIGC 这部分。我觉得纯粹的模型厂商，比如像 DeepSeek、质朴、Kimi，设计一个好的模型需要的能力和设计一个好的芯片需要的能力是完全不一样的。就甚至有时候当你把完全不一样的能力整合进同一家公司的时候不一定是个好事。就这件事也是需要异构的。我觉得是需要一家氛围上面更适合算法设计的公司来做模型的事情。氛围上面更适合芯片设计相关的公司来做芯片的事情。这个东西把大家都融合在一起不一定完全是一个非常非常好的事情。
泓君：
Mark 当时你去 Stanford 读 PhD 的时候，Bill Dally 他其实很有名嘛，因为他的首席科学家，我们也可以说他是整个芯片领域的 GPU 的奠基人。因为他通过在 Stanford 做的流处理研究，变成了今天的 GPU。当时你为什么选他做导师？你跟他的交流是怎么样的？
Mark：
你说这个 Stream Processing 这其实应该是他在 2000 年之前做的工作。只是后面 NVIDIA 更成功地把这件事情做成商业化。但是他后面随着和 NVIDIA 合作，其实逐渐他又重新在产业上面主导了很多类似的方向。我是在应该是大四的有一个学期，我去和韩松，就是他当时马上要毕业的一个学生，但是后面他其实做了很多成功的公司，包括他后面去 MIT 当 Professor。但其实当时是他拉我过去想让我帮忙他做一些 Research Assistant﹐所以当时做的更多工作是围绕着他当时的模型的简直压缩，我们叫 pruning quantization，这些点继续往下做了一些更新的如何让模型更 efficient 的跑在硬件上的算法层面的研究。然后那时候就虽然是松哥之前 mentor 我，但是就是美洲会和 Bill 有例会，就这个人给我的第一反应是非常非常聪明的一个人。然后另外一个点其实是他在 research 上看的问题是一些很本质的问题。就他不会去尝试解一些 low hanging fruit 因为那个已经也不在他的 career path 的必要性上面。他是一个很 senior professor 他没有任何短期学术上需要比如发多少 paper 的这些的压力。所以他看到的一些更本质是他实际上感兴趣的技术上面的一些点。这些点往往是那些其实很难做。但一旦做出来可能对整个学界业界有非常非常大的影响的一些点。这是我非常非常从那时候开始就欣赏它的特质。
泓君：
对，你刚刚提到了 Bill 他看问题是看到了非常本质的地方，你觉得从你开始读他的 PhD,17 年开始，有哪几个他在关注的主要方向，以及他有哪几次在跟你的交流中，你觉得 OK 他没有去关注这个表面上的细节，而是直接戳到了比如说当前芯片设计的最核心的一个环节。
Mark：
我真的去加入他的组里，跟他非常认真的去做一些研究的时候，他当时一上来非常感兴趣一点，其实我觉得除了他没有人看到那个点，他当然去尝试做完全和现在的深度学习不一样的另外一类完全逻辑的 AI 的加速。从过去 AI 的发展是有两个不同的分支的，一个是偏深度学习，神经网络这种感知的这种分支，然后另外一个是强逻辑的分支，然后那种分支其实大家往往会去尝试构建很大的知识图谱。去建立非常严谨的逻辑。现在就变成比如说大家尝试去用 AI 证明一些数学定理。
泓君：
那是哪一年？
Mark：
17 年的时候。对，但那个逻辑的 AI 的发展其实已经过去三四十年都有。而且到现在为止都有很强的应用在比如我刚才提到的一些数学原理的证明。再到一些芯片后面不拘不限，里面其实是有非常强的逻辑的 AI 参与的。所以 Bill 当时很感兴趣的点就是，英伟达已经可以把这种偏感知的神经网络类的 AI 加速得很好。但是他看来其实未来的 AI 是强逻辑加强感知。但强逻辑那一部分其实当时的角度基本没有人在关心。因为之前几乎没有人做过针对性的硬件去做这件事情。大家可能更多停留在软件层面。那是我们从头去设计的一个全新的芯片架构。就它和现在 CPU、GPU 包括我们想做这些完全不一样的一个专门的加速器的架构来加速这件事情。从现在的角度看来，因为我知道现在硅谷其实很多创业公司大家开始有这个想法，如何让比如现在的这些原模型 Transformer 更好地为一些数学原理、物理原理来服务。其实这部分我觉得未来可能也会是非常非常有影响力的一部分新的芯片的工作。
泓君：
所以你觉得它当时跟你们主导的这个强逻辑的芯片，就是重新设计的这个芯片在今天的 AI 时代已经变成了一个主要方向，还是说它还是一个研发中的东西？
Mark：
我觉得它还处在算法研发的过程中。本身解这个逻辑问题的算法是非常固定的，叫 SAT 问题。但如何把这个问题和 Transformer 更好结合起来，让 Transformer 去把实际的复杂的数学和物理的问题拆解成这种强逻辑的问题。我觉得是现在很多在尝试做 AI for Science 的公司在做的事情，现在在算法层面还没有收敛。未来如果大家发现这个真的很有效，以及未来如果真的科学探索的瓶颈在如何更快地解一个很复杂逻辑的问题上面的话，对芯片和硬件的需求会是确定的。
泓君：
你觉得它给你的启发更多的是在芯片领域上说，在学术领域的一些具体的我要走哪条路，哪个方向的一些学术上的启发，还是它的思考方式、沟通方式，一些人格特质上的启发更多？
01:10 - 01:20
Mark：
我觉得是后者。刚刚提到我跟 Bill 做的第一个项目，之后包括我 PhD 的 Seasons 那些很多东西并不一定是某一个确定的方向。比如说大家会看到他现在是 GPU 的奠基人，但其实我觉得本质他并没有和 GPU 绑定，GPU 只是结果，原因是因为他是一个非常好的 Researcher，非常好的一个 Architect。所以他能发现最重要的东西是什么，并以最好的方式把它做出来，这个成就了现在的 GPU。但是它对我影响更大的可能是一些芯片设计、系统设计，甚至怎么做研究更本质的需要关注的一些点。
泓君：
举一个例子。
Mark：
举一个例子就是我们现在做的很多芯片会围绕一个点去出发，叫 Locality，就局部性。而这件事情最早我是从 Bill 那块得到了非常非常大的震撼，他跟我说整个芯片设计。一切都是围绕局部性去展开的。什么叫局部性？局部性就是 Location 把东西放在哪。它的原话是 Commute Architecture is like real estate,it's all about location, location, location。就时间上的局部性、空间上的局部性。比如说我们之前会有 CPU 里面 Cache 的设计，其实本身就是一种时间的局部性和空间局部性的使用。时间局部性就是如果我用了一段数据，那我会在未来的一段时间里面大概率会重复的使用这段数据，这是时间局部性。后面局部性就是如果我用了一段数据，那我大概率马上会用到它周围的一部分数据，这是空间局部性。然后我们现在想做的很多东西其实是我们在做 AI 芯片，把模型的权重存在哪这件事情。为什么我们想用 SRAM 来做这件事情，就是因为希望使用 SRAM 提供最好的局部性。因为在 AI 的这个时代，尤其是我们做推理、decode 的这个过程，时间局部性和空间局部性在算法上都被抹平了，就这些都不复存在了。所以我们要在架构上做更多实际硬件上面的局部性来弥补这一点。我觉得他在知道怎么更好的做事情或者找到更值得做的事情的时候，我觉得他的逻辑是要找到最难的事情。然后找到对整个系统影响最大的那个点，并尝试去解决它。它会关心 trade-off，就当你只做微小的提升的时候，其实你是可以保全大局的，你不需要做颠覆式的修改。但如果你要做很难的数量级的提升的时候，你一定要很清楚的想明白哪些东西是你可以牺牲掉的。哪些东西是你真正关键的？只有当你想明白这些问题的时候，你才能在整个系统层面做出更关键的选择。你能跳出这个 local minimum，就像是深度学习的时候，找到一个更大的全局最优的解。
泓君：
对，我觉得很有意思。这个其实就是说我们不要去做微创新，我们要找到最难的那个问题，从全局的角度去做颠覆式创新。但它意味着失败的概率很高。你跟 Bill 在合作的过程中有遇到说，OK，我找到了一个解，我尝试从这个方向做，但是它失败了。
Mark：
我觉得非常非常多呀，但是我刚刚说的点其实和成功失败没有关系，就是它是你做事情的逻辑，就是什么样的事情是 Bill 觉得值得做的，以及现在是我们觉得值得做的。但是做的过程中肯定会有很多很多失败的情况，但是他不会否定你要解决的这个问题不是正确的问题，他只是你可能没有找到正确的解法，甚至这个解法可能是没有的。
泓君：
我觉得这段非常鼓舞人心。你回来创业，Bill Dally 给了你什么样的建议？
Mark：
我跟 Bill 会讨论很多很多技术上面的细节。就比如说当时我有一些想法想把 SRAM 来做的时候，我会跟他讨论非常多。因为他一开始也没有很细节的去看这个方向，但是当时我们是真的很仔细的去算了这个点。他会给我很多技术上面的建议，因为其实我现在想做的很多东西和我当时 PhD 跟他一块做的东西，从方法原理上来讲是很相像的。具体创业的建议的话，我想想。哦 Bill 给我的建议就是一定不要用 PhD 写的代码，因为这是 Bill 上一个创业里面的惨痛教训。
泓君：
嗯，它的整个特质还是更偏一个科学家。
Mark：
是是是，对，这是 exactly，我刚刚其实想说，Bill 当时给我另外一些点，其实是怎么做研究。但其实我现在会发现，比如那些东西并不一定是做公司最好的点。我觉得做研究的本质就是用最小的代价获取最多的知识，这是他认为研究的本质。所以当时比如说涉及到其他很多会愿意真的去流片，用科研经费把片子造出来﹐但是在 Bill 看来这个就完全不必要，因为你已经在流片之前获得了 99%的支持了，流片并不能给你带来一些额外的除了工程上面的实现之外的东西。但是就现在创业这件事情其实就是你要去解决那个剩下 1%工程上面的实现，而且这部分可能要花费你 99%的精力。
泓君：
工程可能不算剩下 1%，它应该也是一个占挺大的比重的。
Mark：
对对对，我的意思是实际上你要花很多的精力去做它，但是它对于这件事情能不能做成的贡献就是没有那么大。你可以在不做工程之前就从设计的角度知道这件事情技术的瓶颈在哪，能不能做。但是实际工程上要解决的实际设计、散热、供电的那些问题是你要花很多的精力去真的把它做出来的。
泓君：
嗯嗯，那子扬，你要不要讲一下，就是你在亚马逊做自研的 AI 芯片，比如说你给他们写编译器、写软件站。因为我在亚马逊它也有一个非常哲学思考的问题，跟刚刚 Mark 说的是有一些一脉相承的，就是说我们不要先从一个细小的点去推这个事情。你觉得这个事情应该怎么样？因为你要先设计整个系统再去反推最优的芯片是什么样的？你要不要讲一下整个亚马逊它的包括你做软件的这一套工程哲学？首先从系统上来说软件是在系统最上方的，用户是从软件入手的。
徐子扬：
其实亚马逊有两个哲学，一个跟芯片相关，是从系统去反推硬件。还有一个就是 Customer Obsession，我们要想的是用户最后想要的是什么。所以用户他去用的这个软件站要来反推之前的所有的东西。另外一种方法可能是以中为始。所以我们在去思考这件事的时候，比如说我们要做一个 AI 的加速器，那要很明确地想清楚我们这个要加速的 workload 是什么样的，它是哪一些模型或者是哪一类的模型会放在我们这个加速器上去做。它是去做训练还是推理，还是两者都做，这个会直接地影响到你从每一层的从高维的系统往回反推，最后到芯片上的一个具体的设计是怎么样的。首先大方向要掌握对，然后要能从这个大方向一点一点的有逻辑的反推回来。比如说其实在这个芯片设计里面有一个非常重要的参数，它的定义是指你的计算的带宽和你的访存带宽的一个比值。这个会决定我们在读取一份数据以后，在这一份数据上要做多少次计算，它才能把计算和访存都给用到。这个比值会直接的影响到哪一些模型或者应用在这款芯片上它用的是最好的。所以比如我们在设计下一代的芯片的时候，就会很明确的去想最终的 workload 是什么样的。我们的系统会是多少个节点去做完整的系统。这可能要先从这多少个节点可以在物理上装得下，能装下模型和在物理上能被接纳。这样再去反推，最后去结合到最后我们要把这个比值定在多少。当硬件一旦确定的话，我们之后其实会直接影响你要怎么去对不同的软件做优化。所以我觉得整体的方向上，首先要知道用户想要的是什么。这个有可能不一定是用户今天在用的，有可能是用户在芯片制作出来的那个时候会想要的事。
泓君：
未来两三年会用到的。
徐子扬：
对，未来两三年，因为本身芯片是一个长周期的一个事情。
泓君：
好的，好的，好，谢谢，谢谢两位。
徐子扬：
好，谢谢大家，谢谢大家。
泓君：
那今天是我们在节目发出前的一次补录，来聊一聊 OpenAI 的推理芯片。因为 OpenAI 其实是在我们录制的当天，也就是 6 月 24 号，它是跟博通发布了第一颗自研的推理芯片 Jalapeño。子扬，你们在这些天有没有研究 OpenAI 它的推理方案是怎么样的？就跟你们想的思路有什么不一样？对的，我们其实也在 Jalapeño 出了以后，认真地探索了一下他们公开资料有的这些信息，包括他们在 Hot Chips 分享的一些内容。首先他们做的这个芯片目前是一个 AI 推理芯片，但是定性的它是一个通用的 AI 推理芯片，和 GPU 还是比较接近的。它的通用性体现在它可以跑各种模型，甚至一些游戏它都 demo 可以跑出来。
徐子扬：
可以说几个我们看下来它的几个侧重点，包括一些和我们不一样的点。最重要的一个其实是我们之前讨论过的一个电的效率和钱的效率上。OpenAI 看到的是它对电的效率非常非常的敏感，因为现在美国这个数据中心缺的并不是资本和这些空间，而是这个电的供给。所以它非常需要同样的电的产能，能产出更多的 token，产出更多的智能，也意味着更多的收入。然后我们看到这颗芯片它在功耗上做了很多的工作，所以它的每瓦或者每 megawatt 能产出的这个 token 数是大于英伟达对应的 Rubin 的架构的。另外一个特点，刚刚说到它是一个通用的，这也包含很多的意涵。首先它通用性体现在它把我们之前说的一些异构的部分，包括 Prefill、Decode、Attention、FFN，其实它都用一颗芯片全包了。它在设计上比如说加入了一些对小的维度的矩阵乘法支持，所以在整个 batch size 比较小的情况下，性能也能做到比较好。还有一些公开的信息甚至说它下一代要去支持训练。所以其实在通信上是和我们的一些包括 Groq、Cerebras 系统级的异构思路上是有一些不同的。还有一个小的特点，就是这颗芯片它其实去说了它用了很多的这个 AI 来帮助。包括从这个软件站上看，它的 Triton 语言写的 Kernel（，很多的优化很大程度上交给了 Codex（。另外它的芯片的设计，无论是性能的优化还是 Time to Market（，就从它的项目启动到流片的一些速度。我们看到是和之前的这些芯片项目比有挺大的提升的，它的说是启动到流片用了九个月。
01:20 - 01:30
泓君：
对，这个速度是相当快了。那我其实有一个疑问啊，就是当时我们在录播客的时候，我们是讲到其实业界，您提到推理芯片，它是在向 SRAM 的这条路径收敛。但是我们看，其实 OpenAI 的这个芯片，它并没有走上存储的这条路啊，而是把 HBM4 的带宽堆到了单封装每秒 15.4TB。我好奇的问题是，比如说它同样是解决带宽的问题啊，但 HBM 它其实是挺贵的一条路，为什么他们会选这一条最贵的路？
徐子扬：
对，其实这个贵就是很重要的一点，这个贵是代表着你买对应的芯片，买存储，买这个存储的代表化，你的价格比较高。但是比如刚刚说，其实 OpenAI 它的最本质的限制在于电，它可能对于这个资本的开销，对于造芯片的这些成本来说没有那么敏感。这个其实也和中美的一些在算整个经济账上不太一样。中国的电的比例比较低，占三分之一甚至更少。在美国是三分之二，更多是电。但其实这个本身成本是一部分，另外一部分是供给。美国的电本身有比较明确的一个每年能提供多少新增的电的产能。如果我想要在这个确定产能内去产出更多的 token 更多的智能，其实我们更关心的是这个芯片的电转换成 token 的效率。我们之前提到的 SRAM 的最本质的一个优势是每一块钱买到的带宽比 HBM 高很多数量级。然后这一点其实就转化成了是你最后花同样的价格去生产芯片，或者是同样的芯片产品去生产芯片，我们能得到更多的 token。
泓君：
但目前来看，OpenAI 跟关系的是另外一个指标，就是从电的角度。OK，总结来说还是第一点省电。
徐子扬：
对，省电其实是，就是反过来就是为什么 SRAM 相对来说没那么诱惑的一点，是他们对这个成本没那么关心。SRAM 它的带宽非常高，但是它在容量上比较受限。所以在做这个芯片的通用性上其实是比较受限。包括我们自己的方案，包括 Groq、Cerebras 的方案，一个芯片要去和别的芯片去配合，但我们看到 OpenAI 的选择方案是去做一个更通用的芯片。这个其实我们在上一次讨论的时候说到了这种模型公司和这种云厂商，它业务比较多元，然后也有训练的需求，模型也无法把我们语音这种图像的模型也要跑。所以它对于这个芯片的通用能力要求比较高。这本身做芯片都是 trade-off 嘛，当你的需求的点，你有一些对容量要求很高，有些对带宽要求很高。那我就要找一个更全能的，它可能会更贵的一个解决方案。它的最后就指向在这个点上 HBM 的确做得很好，尤其 HBM 的 4 它的带宽的确比之前也有很大的提高。
泓君：
那如果是长上价文的 KV Cache,HBM 的方案会比 SRAM 有优势吗？
徐子扬：
这个其实涉及到还是我们要不要做异构，包括我们自己想的方案和制作方案。KV Cache 放在了另外一块芯片上，不是大 SRAM 的这个方案上。至于这个厂上下文，它对于这个 KV Cache 对于这个容量需求有多大，其实我们看到最近的几个月有非常大的变化，包括 DeepSeek 的新模型出了之后，它的第一张图就是每一个 Token 的 KV Cache，它在每一代都往下缩，这一次是缩了四分之一到八分之一。所以具体就是在我们之后遇到厂上下文，它对容量有多大的需求，这个是一个正在变化的事情。并且随着用的人数、随着上下文的增长，它会不断地变大。所以一定程度上对于容量的性价比是有要求的。这一点就落在了一个 SRAM 不太舒适的区间内。所以我们自己去想这个问题的时候是，我们不会优先地考虑用 SRAM 去存 KV Cache。
泓君：
哦，了解。那还有一个问题是，因为 HBM 它每一代的带宽提升比 SRAM 它的密度提升要快嘛，所以 SRAM 其实它是需要六个晶体管才能存一个比特的，那 SRAM 它路径的优势窗口会不会在两三年以后就关上了？因为其实芯片的周期还是很快的，比如说一年半到两年，然后 OpenAI 这个九个月就造出来了。
徐子扬：
但是我们去看 HBM 它的带宽的增长，虽然现在已经做到一个很好的一个数字，但它带宽的增长其实也没有大家想的那么乐观，包括这一代之后的带宽增长从哪里来，其实也不是很确定。这个其实第一性的去思考的，就是你的连线还是是通过走着某一种同线，它不一定是同线，但是它不是这个光刻出来这个线去走，在一个带内的这个
泓君：
广告你觉得 SRAM 它现在相比于其他的方案它有哪些缺点？
徐子扬：
对，最大的缺点其实就是容量的性价比，因为它要用六个 transistor 去锁一个 bit，而且一般来说我们为了达到这个带宽要放在同一个带上，所以 SRAM 的堆叠其实是会降低它的出来的带宽的。所以在这个点上它的容量的性价比非常的低。如果我们对存储有很大的需求，需要存非常多的数据，那 SRAM 它可能不是一个最优的方案。但这个其实要分成两个问题讨论。你要存的数据量可能很大，但它是一个固定的量的时候，那比如说我们要把模型的权重全部存在 SRAM，那我们可以用很多个芯片去组成一个集群去做。这个还是在 SRAM 可以接受空间内，但如果你的要存的数据它是一个变化很多，并且可能未来持续增长，比如说我们刚刚说到这个 KV Cache，那我们就认为它在容量上的受限这个缺点就会使得它不适合这个场景。
泓君：
嗯，了解。上一次其实我们在聊天的时候，你有说到你觉得业界推理芯片的方案在向 SRAM 收敛，那 OpenAI 这个芯片出来以后，你还会保持这个判断吗？
徐子扬：
呃，我觉得在一定程度上，在这个大的系统级异构中，为了提高 token 的性价比这边，还会有很多公司在向 SRAM 这里收敛。但是的确，OpenAI 提出这个思路，有非常有意思的地方，它其实是把异构的这一点给芯片里有很多的这些部分，它们之间是异构的。OpenAI 提出了一个 Dark Silicon 暗规的一个概念，当然这个概念一直都存在。OpenAI 认为它比较容易接受这个的成本代价，就是我拿着一个芯片去做不同的事，做某些事的时候可以把其中一些部分关掉或者降低它的功耗。这种样的异构和我们想的系统级的异构的最大的区别其实还是它是用了更多的成本去买这个芯片，但是它可以做到电的效率更高。所以从 per dollar 的角度，它这个方案其实是不会很好的。我觉得这个其实涉及到一个我们在不同的市场条件下限制条件不同，它会收敛到不太一样的地方。然后我们看到在对带宽的要求非常高和带宽性价比非常高的地方还是会收敛到 SRAM 这个方案。但是比如说对电是第一限制的话，可能 OpenAI 这个方案也是一个很好的解决方案。
泓君：
你们在研究它这个方案的时候，会觉得对你们现在做芯片的思路有什么样的启发吗？
徐子扬：
我觉得其实对于 AI 的使用上，一部分验证我们的一些想法，包括软件站能被 AI 快速地提升。但是他们比如说这个 AI 怎么来做这个芯片的设计和优化，这个对我们其实有一定的启发。硅谷是发生在系统级，用不同的芯片去组硅谷，还是发生在芯片内，在芯片内用不同的单元去组硅谷？我觉得这个其实就是在不同的市场下，它的限制条件不一样，会走出不一样的路径。这个在我们看清楚了之后，我们觉得我们的一些想法还是成立的。
泓君：
对，然后异构发生在芯片内，这个现在业界是只有 OpenAI 这样做了，对不对？
徐子扬：
哦，就是异构发生在这个芯片内，这个是 OpenAI 比较明确地展示出来。但比如说原先的英伟达的 GPU 也可以理解为异构发生在芯片内，只不过它是一个通用的芯片，更强调它的通用性。就是它没有想 OpenAI 去说我把不同的需求放在一起，并且通过各种方式能关闭一些东西来提高它的电的效率。这个是我第一次看到这样一个解决方案。异构发生在系统级，包括之前讨论到的 Groq、Cerebras 和现在很多的 AI 芯片，其实都是在往系统级的方式走。一些芯片来配合做不同的事情，包括 PD 分离这个大的场景下，包括训练和推理分离，这些都是异构发生在系统级。
泓君：
嗯，了解。您觉得现在或者说未来整个推理芯片市场还会是英伟达的天下吗？整个市场格局会变成什么样？
徐子扬：
啊，这个问题很难回答。我们当然不希望它是英伟达的天下。那这样，这么多在做有意思探索的公司，那这句话就意味着这些公司就不会存活嘛，包括我们。CPU 为核心的英伟达在做一些其他的探索上可能会在迭代的速度上包括他们的方案的选择上会有一定的限制。所以我们也看到了就是有很多在做的新的方案其实不是从英伟达出发的，包括 Groq，也看到英伟达去 Acquire 的 Groq。对，所以我觉得我没有办法直接回答这个问题，但是我们希望整个 AI 的芯片变得更多彩一些，这个方案变得更多一些，这个也符合我们对于整个异购物的一个认知。
01:30 - 01:40
泓君：
嗯，感谢子扬的这个补充，我觉得还是解决了很多困惑的。嗯，好的好的。好了，那这就是我们今天的节目，这集节目确实比较技术，理解起来会有一点困难。如果大家不在这个行业呢，听不懂也没关系，因为我自己也花了一些时间去消化它。但是呢，其实特别开心啊，能跟这个行业里面很多有想法的年轻人去聊天。不仅仅是前沿技术的方向，每次聊到能把一个产业带起来像 Bill Dally 的这些学术大咖们，也总能从他们的身上去获得很多力量。大家听完是什么样的感受，欢迎与我们分享留言。大家可以通过苹果播客小宇宙 Spotify 来收听订阅我们，视频的听众也可以通过 B 站和 YouTube 搜索硅谷 101 播客找到我们。我是泓君，感谢大家的收听。
References
- 1E251｜推理芯片之战：聊聊 Groq、Cerebras 与 OpenAI 三大路径与 Bill Dally 的设计哲学｜小宇宙
xiaoyuzhoufm.com
- 2E251｜推理芯片之战｜YouTube
youtube.com
- 3
- 4Wafer-Scale Engine 3 Turbo｜Cerebras
cerebras.ai
- 5
- 6
- 7Inside NVIDIA Groq 3 LPX｜NVIDIA Technical Blog
developer.nvidia.com
- 8LPU 架构｜Groq
groq.com
- 9
- 10GroqChip Processor 规格表｜Groq
groq.com
- 11
- 12NVIDIA Groq 3 LPX｜NVIDIA
nvidia.com
- 13William Dally｜NVIDIA Research
research.nvidia.com
- 14
- 15OpenAI Jalapeño: Better Than Nvidia Blackwell｜SemiAnalysis
newsletter.semianalysis.com
- 16
- 17Cerebras WSE-3: Third Generation Superchip for AI｜IEEE Spectrum
spectrum.ieee.org
- 18
- 19
- 20Cerebras Systems Stock Soars 68% in Blockbuster IPO｜The Globe and Mail
theglobeandmail.com
This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.