做好三颗芯片又砍回两颗：特斯拉 FSD 十三年里的算力、成本与拍桌子的会议｜硅谷101

这期《硅谷 101》是一支 62 分钟的纪录片式视频（官方视频，另有官方 B 站镜像），主播陈茜把两条线拧在一起讲：一条是她 9 月 23 日在德州奥斯汀亲自坐了一趟没有方向盘、没有踏板的 Cybercab；另一条是 FSD 从 2013 年到今天的硬件与软件进化史。它不是一场对谈，而是采访加叙事的深度长片——采访对象包括在特斯拉工作了近 12 年的 AI 硬件开发高级经理 Kerry 刘向科、特斯拉前 AI 软件工程总监 Srihari Sampathkumar、前 Waymo 硬件工程师 Cathy，以及一位匿名的前自动驾驶资深从业者。

片子里最有价值的部分，恰恰是那些平时不会被写进发布会的东西：三芯片主板已经做出来了、量产前一两个月又被砍回两颗；摄像头方案定不下来时马斯克拍桌子骂人；AI5 芯片的研发里出现了对马斯克的瞒报。下面按片子自己的顺序拆开。

按节目里的说法，Cybercab 9 月初在奥斯汀投入运营；截至 2026 年 9 月 22 日，特斯拉在德州登记的自动驾驶车队共 476 辆，其中 67 辆 Cybercab，其余 409 辆仍是配方向盘的 Model Y。

体验层面的细节比参数更有说服力：车内只有两个座位，主播坐在原本属于驾驶座的位置，面前没有方向盘、没有踏板、没有加速板；因为是无方向盘的原生设计，乘客在紧急情况下无法物理接管，安全兜底交给了后台的远程工作人员、星链网络保障，以及车内的一键紧急避险按钮和靠边停车请求。

2013 年，成立 10 年的特斯拉决定做自动驾驶，最初想合作的对象是谷歌。双方分道扬镳的根子在于路线：谷歌主张高精地图加激光雷达、一步做到 L4；马斯克的第一性原理认为这套方案太贵，应该先推 L2 再迭代到 L4。这两条路线之争一直吵到今天。

特斯拉随后选了 Mobileye，2014 年 10 月发布 Autopilot Hardware 1.0：1 个前置摄像头、1 个前置毫米波雷达、12 个超声波传感器，芯片是 Mobileye EyeQ3（500MHz、256MB 内存）。Kerry 对这套硬件的评价很直接——「一个不得不采用的方案，因为你没有别的选择」。

问题出在架构上。自动驾驶分感知、规划、执行三段，特斯拉与 Mobileye 合作时，感知算法完全由 Mobileye 垄断，规划与控制由特斯拉自己做，Mobileye 交付的是典型的黑盒：画面进 EyeQ3，结果再传给规划层。Kerry 说，这套模式的致命处是要强行在两边定义一个接口，而接口之下的一切都是黑盒，「你想跨过这个接口、或者更改这个接口，但你没有这个控制权」。

2015 年 Autopilot 软件上线，只能做车道保持和自适应巡航，但当时的车主把在车里吃汉堡、在副驾睡觉当成了「无人驾驶」。2016 年 5 月 7 日，佛罗里达一辆 Model S 撞上左转的拖挂货车，车主当场身亡——事故原因正是辅助驾驶没有识别出货车；而 Mobileye 此前已经警告过马斯克禁止驾驶员双手离开方向盘。这次事故成了双方彻底谈崩的催化剂，但 Kerry 说真正的原因是合作不畅。

换供应商的速度很快：事故仅 5 个月后，2016 年 10 月，Hardware 2.0 把摄像头从 1 个变成 8 个，芯片换成英伟达 Drive PX2；发布 10 个月后又出了 Hardware 2.5，核心区别是冗余——多加一颗 GPU 做备份，这就是特斯拉双芯片架构的雏形。

英伟达这一段也不好过。Kerry 讲了一个很具体的例子：2017 年有车返修，他们怀疑是主板温度过高，想让英伟达把芯片温度读出来——「写一个很简单的几行代码，就是写个驱动」，结果对方来回扯皮一个礼拜，然后说要开通新功能请付费，付费之后还要再等一周。「三行代码就能搞定的事情，你已经折腾了快半个月了。」

2019 年 4 月，特斯拉发布 Hardware 3.0，用自研 AI3 芯片换掉英伟达。这条路从 2016 年就开始铺：当年 1 月马斯克挖来芯片设计界的传奇人物 Jim Keller（在 AMD 设计 K7/K8 架构、在苹果设计 A4/A5、回 AMD 做 Zen），2 月 Peter Bannon 加入（近 40 年计算系统设计经验，领导过苹果 A4 到 A9 处理器的开发）。在这两人和三星团队的帮助下，第一款 FSD 芯片只花了 18 个月设计完成，2017 年 12 月首次流片成功。

Kerry 强调这次流片有多罕见：第一次流片出来芯片基本就没有毛病，只小改了一版就量产，此后没再改过；14nm 制程当时也相对成熟。「你无论放在 Intel、AMD，不管哪家公司，一次流片能够做好的，那是凤毛麟角。很多芯片第一次流片出来连开机都开不了。」

性能上的提升来自定制：AI3 相比 Hardware 2.5 用的英伟达 Pascal，神经网络算力提升 5 倍以上；更关键的是利用率——通用芯片里含线程调度、内存访问、分支预测，跑神经网络时实际利用率很难跑上去，而特斯拉定制芯片有效利用率能达到 80%，比通用芯片提升 50%。Kerry 的总结是，2016 年业界都只是在 CPU、GPU 或 DSP 上加指令让它们更适合推理，没有人真正从底层为这件事做设计，「所以我们决定自己来做」。

Jim Keller 在 AI3 即将量产时离开，由 Peter Bannon 接手。Kerry 对这件事的解释是性格使然——他喜欢从 0 到 1，不喜欢从 1 到 10，芯片做出来之前他就走了。

真正惊险的是量产前那三个月。因为马斯克不爱招人，软件团队要同时维护还在量产的 Hardware 2.5 和写 Hardware 3 的软件，人手严重不足，连芯片测试都跑不起来。Kerry 回忆说那三个月「基本没有休息，可能休了那么一两天、两三天」，硬件团队只能自己写点指令去模仿软件、自己跑自己测。

用上自研芯片之后，片子说清楚了两个好处——成本与主动权，各配了一个故事。

成本这边的主角是德州仪器（TI）。2018 年特斯拉车上每年要用大量 TI 芯片，而当年年底公司差点破产，成本压力极大。车规芯片当时平均利润能做到 50% 到 55%，公司要求 TI 全线降价，TI 一直不答应；Kerry 直接把 TI 这套芯片全部换成 ADI 的同等功能芯片——尽管软硬件两头都要重做大量测试开发。TI 没想到这套芯片对自己营收占比那么重要，CEO 都跑来说能不能别换；僵持几周后 TI 同意降价，一年省下大约 2000 万美元，马斯克还专门发信感谢。

主动权这边来自被黑盒坑过的教训。片子里也承认，英伟达到现在最新的索尔（Thor）这类芯片仍然是通用芯片——它不希望自己被任何一家公司牵着鼻子走。

2017 年 6 月，谷歌发布《Attention Is All You Need》，Transformer 横空出世；2017 年，30 岁的 Andrej Karpathy 离开 OpenAI 加入特斯拉，直接向马斯克汇报。片子给出的判断很务实：Karpathy 最大的用处其实是招人——「没有他的话，你作为一个顶尖 AI 人才毕业，为什么要去一个车厂？」

Karpathy 加入后的第一件事是用神经网络重构感知模块，随后是三大升级：

HydraNet 架构：让所有任务共用一个底层特征提取网络（backbone），只在最顶端分叉出不同的任务头（head）；树干共享算力，树枝各长各的叶子。它既省算力，又能针对单个任务微调而不影响其他任务。

从「看图片」到「看视频」：早期感知像图像识别系统，一张照片依次识别车、人、车道线；但现实是连续的——一辆小车被大巴挡住之后，系统要结合前后时刻判断它还在不在、可能在哪。于是引入时序信息（Temporal Information），让系统拥有短暂的记忆。

Transformer 加持的鸟瞰图（BEV）：融合 8 个摄像头的信息，通过空间变换、多视角融合与 Transformer 的交叉注意力机制，统一投射到同一个俯视坐标系，构建 2.5D 空间模型。

2021 年 5 月，马斯克决定移除车上所有雷达。片子给出了一个很少有人讲的真实原因：供应链。毫米波雷达的供应商是德国大陆集团（Continental），疫情期间供不上货、后来谈崩；马斯克对不配合的供应商的处理方式是「你既然不给了，那我也不跟你谈了，直接不要了」。马斯克此前早就催过软件团队去掉雷达，但人手不足一拖再拖，疫情相当于催化剂。代价是测距精度大幅降低，只能靠纯视觉预估速度，软件团队因此进入新的「作战模式」。

2022 年的 AI Day 上，鸟瞰图变成了真 3D，关键技术是占用网络（Occupancy Network）：把周围空间切成无数个「体素」（Voxel），被占据就代表有障碍物。它的好处是不再需要用长方体去近似一切——两节的公交车转弯时不是长方体，挖掘机的臂有时可以从下面开过、有时不能，硬塞进 2D 表达就是信息损失。难点在训练：需要「这个体素被占了、那个是空的」这种真值，传统做法是人工标注激光雷达点云，成本可能是标物体框的 10 倍甚至更高，而特斯拉量产车上根本没有激光雷达。特斯拉靠的是内部自动标注网络生成真值，以及少数配备激光雷达的特殊车辆去采集真值。

车上的算力越来越紧，2020 年 Hardware 4.0 立项。这次是全系统重新设计，也意味着 Hardware 3.0 的老车主无法再免费升级——芯片更大、内存更多、功耗更大，电路板已经装不下。

摄像头有两个大改动。一是像素从 120 万提升到 500 万：片子解释了为什么不能像手机那样堆到 1 亿——车载更看重稳定性（耐高温、抗震动、动态范围、寿命）、够用的距离和更高的帧率，而且信号从摄像头传到车中央的处理器要走 1 到 3 米，高速信号远距离传输本身就不允许那么大的数据量。二是位置分布：原本前挡风有 3 个摄像头，升级到 Hardware 4 时被马斯克砍掉一个，理由是「人就两只眼」。开会时有人建议在车头再放一个摄像头补前保险杠盲区（雷达已被移除），马斯克不接受；结果这一砍真出了事，从 Cybertruck 开始，特斯拉又在前保险杠加回了摄像头。Kerry 的评价是：马斯克对自己的判断非常强，但他也能意识到判断未必对，「特斯拉公司的好处就是非常快地能够弥补或者更正这些东西」。

芯片数量则是一段典型的反复拉扯。Hardware 3.0 用的是两颗 72 TOPS 的 AI3；到了 Hardware 4.0，软件团队说两颗不够、要三颗才能把 FSD 做出来，马斯克答应了，硬件团队真的把三芯片主板做了出来——而三芯片的架构远比双芯片复杂，因为冗余判定要回答「到底谁接管」。直到量产前一两个月，项目经理问了一句「到底用两个还是三个」，马斯克想起成本这件事，拍板改回两颗：这是最终决定，不要再讨论。硬件团队只好赶回去重新设计主板。

片子还留下了一句内部玩笑：新芯片才刚刚设计好，软件团队就已经想好怎么全部用掉了，「你给我 10 倍我都能把它用掉」。Kerry 对这句话的解读是，模型其实还有很多优化空间，但人手太少，「大家更多的是把这个模型做得更大」。

AI4 的研发也不如 AI3 顺利：三星当时在外面接了很多生意，服务明显不如 Hardware 3 时期，日程严重延迟，流片流了大约三到四次。更麻烦的是内存选型——AI3 性能开始跟不上之后，真正卡脖子的是内存带宽。片子用了一个好懂的比喻：算力是工人数量，内存带宽是把原材料送进工厂的高速公路，如果 100 个工人只能进 20 个人的料，剩下的 80 个只能站着发呆。特斯拉此前用手机、笔记本常见的 LPDDR，而马斯克为了更高带宽选了游戏显卡常用的 GDDR；思路对，但车规 GDDR 没有厂商做、功耗高、极小众、价格贵，内存容量最后成了瓶颈。Kerry 说，内部一直在做的 Hardware 4.3 就是改回 LPDDR，牺牲一点带宽换容量。他还补了一句：「我是唯一一个提出来这个事情的人，但是没有人愿意听我的。」

成本上依然很马斯克：据 Kerry 透露，整套硬件的成本甚至比 MacBook Air 低很多，基本就是一个普通 iPad 的价格。AI3 和 AI4 除了装在车上，还被装进服务器里进一步平摊研发成本——Pixel Injection（可以理解为类似世界模型的仿真环境）和推理验证（把真实道路视频回传，让 FSD 模拟当时的决策，再和人类司机的实际操作做对比）。

Hardware 4.0 在 2023 年 2 月装车，但它设计得早，没有针对 Transformer 优化。而 2022 年 7 月 Karpathy 离职、软件团队创始成员 Ashok Elluswamy 接任之后，特斯拉推翻了此前所有代码，推出端到端（End to End）。

片子里讲了一个很有代表性的细节：马斯克收购 Twitter 后想从特斯拉抽调工程师去优化推荐算法，其中一位名叫 Dhaval Shroff 的工程师不想走，于是告诉马斯克自己正在做「车用的 ChatGPT」——用神经网络替代所有规则算法，让系统通过模仿人类驾驶行为学会开车。这句话击中了马斯克，Shroff 留了下来，30 万行代码被精简到 2000 行。

Srihari 回忆说，端到端的探索在 ChatGPT 出现之前就已经开始，ChatGPT 可能只是加速了这个进程、让某些方向加大了投入。2023 年 8 月底，马斯克在自己车上用手机直播了端到端的第一次公开演示——随机在地图上标记路径点，证明不是预先规划的路线；中间闯了一次红灯被嘲笑了很久，但在业内人士看来，作为一条全新路线，这已经是很强的信号。

片子还回答了一个被嘉宾反复质疑的技术问题：既然 FSD V12 是一整个神经网络，BEV 上的显示输出从哪来？答案是网络中间分出了一条专门用来显示鸟瞰图的任务分支（head），「在推理的时候这个分支就像阑尾一样，除了显示之外没有参与其他功能」——而这条 head 的架构，正是前面讲的 HydraNet。

再看后续三个版本的迭代：

V13（2024 年 11 月）：增加模型参数、提升接管里程（MPI）、新增「车位到车位」、针对 AI4 优化，更重要的是让摄像头捕获的光子信息不加任何前置处理直接进模型，减少输入到输出的延迟，并提升输入画面的帧率和分辨率。V12 是验证端到端可行，V13 的目标是简化控制栈，内部工程师把它比作 SpaceX 的猛禽 V3 火箭那样「clean」。

V14（2025 年 10 月，直接跳过 V14.0 发 V14.1）：马斯克称这是继 V12 之后第二大更新，模型参数提升 10 倍，Robotaxi 技术第一次大规模回流量产车，还引入强化学习训练、升级视觉编码器、重写底层 AI 编译器。Srihari 解释了背后的逻辑：整个物理 AI 是一个新领域，没有现成的缩放定律文献可依，必须自己发明一整套技术栈，目标是把「每瓦功耗的智能水平」做到更高。片子里给了个比喻：V12 是验证这棵树能不能活，V13 是剪掉不影响生长的枝叶，V14 是继续施肥让树长高。一个可验证的结果是，2025 年底一辆 Model 3 从加州开到南卡罗来纳州，两天 2700 英里全程使用 FSD V14，没有一次人工干预。

端到端一直有个软肋：输入的 Token 上亿，最后只输出转向和加减速两个动作，这么高的压缩比会让网络学到「虚假相关性」——比如训练素材里驾驶员减速是因为看到前车刹车灯，模型却以为原因是旁边摇晃的树枝。

片子里讲了特斯拉的三条解法。数据端：海量人类驾驶视频里大部分是无聊的高速巡航，全量收集再筛选成本高到离谱，所以在车端部署筛选器，只上传高价值片段（极限反应、复杂路况、特殊车辆）。可解释性：训练时让网络额外生成一个 3D 世界表示，用其中一个节点输出它自己构建的场景，检查它到底关注了什么、有没有建立正确的空间关系。可验证：用另一个独立的生成式神经网络不断生成模拟环境（世界模型），把训练好的 FSD 放进去驾驶，把曾经让系统犯错的片段重新输入验证是否修正，或者注入新的极端场景。

片子还点出了世界模型仿真与传统仿真的区别：传统仿真靠人工建模、定义物体、编写物理规则再用渲染器出画面，世界模型把「建模—渲染」两步合并，直接生成每个传感器看到的内容，灵活性更高；但挑战也更大——既要实时渲染的硬件性能，又要保证生成的世界与真实演变强相关（你右转时如果有行人过马路，模拟里的车辆和行人反应怎么符合现实，非常棘手）。此外，最新 FSD 的输入不只有视频，音频也参与决策：目前用来识别警笛、应急车辆之类的声音，未来会全面接入语音控制指令。

2024 年 10 月，特斯拉发布为无人驾驶设计的 Robotaxi；真正落地是 2025 年 6 月在奥斯汀的试点，初期只投入 10 到 20 辆 Model Y 测试车。

片子强调，硬件上 Robotaxi 和量产车没有任何区别（Cybercab 曾在安全冗余上做过优化，但后来也放到了所有车型）。差别在软件和运行机制：Robotaxi 的软件版本更新更频繁、是内部最新最强的；同一个模型装在量产车上是 L2，装在 Robotaxi 上就是 L4，因为这几辆车拿到了政府许可的 L4 运行资质，且额外引入了远程监管机制。受访者也坦率地算了一笔账：「每一公里此时此刻的成本可能是非常高的，因为它也包含着后面盯着我们这些人的工资。」长期看，当安全性被证明之后，人工比例会降下来，成本才会下来。

在 Srihari 看来，Robotaxi 现在的问题已经不是技术问题了——「主要涉及验证与监管」：你能多快部署、怎么获得反馈、怎么改进部署过程，说到底是谁有合适的基础设施能更快地扩大规模。

片子的最后一段是独家性最强的部分。2025 年 8 月，被马斯克视为特斯拉 AI 核心基础设施、被华尔街视为价值数千亿美元潜在资产的 Dojo 项目被叫停，团队解散；马斯克的解释是 AI5、AI6 在训练方面表现也不错，可以直接用自研 AI 芯片做训练。

但 Kerry 透露，AI5 的研发遇到了巨大挫折和隐瞒。起因是 AI4 与三星合作摩擦多，于是硬件负责人 Peter Bannon 决定从 AI5 开始完全自研、不再外包。战略上符合马斯克作风，执行上却出了问题：一是人手不够（和三星几百上千人的团队差距太大），二是经验不足（此前 HW3、HW4 都由三星深度参与）。更致命的是，德州那边的项目主管隐瞒了研发中的困难——AI5 要交给台积电流片，内部一直说「再有两个月」，这句话说了快一年；等马斯克把图纸发给台积电，对方的判断是这离流片还差得远。马斯克因此解雇了很多人，包括 Peter Bannon 和芯片部门的领导。Kerry 认为 Peter 本人并没有参与瞒报，但因为涉嫌瞒报的主管直接汇报给他，导致他有连带责任。

此后马斯克亲自接管芯片设计团队，两条路线并行：一条是找第三方芯片设计公司辅助 AI5、继续交台积电生产；另一条是找回三星做另一个版本的 AI5。2026 年 4 月 15 日，台积电版本的 AI5 完成第一次流片，预计 2027 年开始量产；按马斯克的说法，它在特定任务上速度比 AI4 提升 40 倍，业界猜测搭载 AI5 的 Hardware 5.0 算力会达到 2000 到 2500 TOPS，并使用了 MCM（多芯片模块）技术。Kerry 猜测两个版本最终可能在同一款车型上混用，但不会在同一块电路板上混用，用户体感上分不出来。不过也有新的内部消息说，AI5 可能主要用在算力中心和机器人上，因为马斯克认为 AI4 已经够用——这一点片子提醒以官方宣布为准。

片子把特斯拉和 Waymo 的路线差异收在结尾：Waymo 更谨慎，更贵的传感器、更严的安全冗余，先在有限区域把无人驾驶做出来再一点点扩边界；特斯拉相反，把摄像头装进几百万辆量产车，把一个还远没有成熟的系统交给真实世界，在一次次事故、争议、返工和软件更新里往前走。13 年过去，两条路线仍未分出胜负，而这一战已经和路线无关——它的名字叫「经济之战」：Waymo 仍在无人驾驶商业化与运营上保持明显领先，Cybercab 才刚在奥斯汀的有限区域跑起来，而美国联邦监管机构已对 Cybercab 启动调查，核查设计是否满足安全标准。按节目说法，10 月 FSD V15 预计发布，参数规模较前代扩大 10 倍，意在支持 L4。

Srihari 给特斯拉的总结是「没有那么多官僚流程，大家专心把注意力放在真正能让产品变得更好的事情上」；Kerry 则说，特斯拉最愿意承担风险、最快用新技术，这让工程师的工作变得有意思——但你既要押注未来的技术，又必须把当前的技术交付出去，这是一门艺术。

以下是这支视频的完整转录稿。文字底本取自官方字幕（与官方视频一致），时间轴由官方完整音轨对齐得到，每 10 分钟标注一次。

讲话人说明：这是一支由主播旁白与多段采访剪辑而成的纪录片，官方字幕本身不含任何讲话人标记。因此本稿的讲话人归属依据两条线索判定——旁白中的自述框架（如「他告诉我们硅谷 101」「Srihari 回忆说」）与内容本身的身份特征（谁在讲硬件谈判、谁在讲软件架构）。可确认的长段采访已按姓名标注；片头混剪与档案影像单独标出；个别无法确证身份的短片段标为「匿名受访工程师」。个别句子的归属仍可能有一两句偏差，阅读时以内容为准。

主播 陈茜：正在行驶的是一辆没有方向盘的车 我正坐在它的驾驶座上 而它也没有任何脚踏板 这就是 9 月刚在德州奥斯汀投入运营的特斯拉 Cybercab 马斯克说这就是未来交通的样子 其实早在我们今年 5 月中旬去奥斯汀的时候 已经发现 Cybercab 出没在这个城市的各个地方了 经过数月的测试 Cybercab 终于迈入了一个新里程碑 我们知道 特斯拉 FSD 的发展故事 一路上伴随着各种的丑闻、诉讼和质疑 自动驾驶技术还有很长的路要走

片头混剪（节目原声片段）：（FSD）还是很失败 （FSD）是史上最糟糕的软件

主播 陈茜：这样的舆论 伴随了特斯拉 FSD 十几年 所幸 FSD 一直没有停止进步 但进步 是艰难的 在马斯克这个“抠门”老板的带领下 特斯拉自动驾驶的硬件研发总是反复拉扯 多次推倒重来 直到上线前还在加班修改

片头混剪（节目原声片段）：他（马斯克）就气的拍桌子 然后就开始 F word（骂人）了

主播 陈茜：从供应商的决裂 自研芯片的豪赌 甚至 团队一度出现了“瞒报与欺骗”

片头混剪（节目原声片段）：Elon 一听这个事就知道 你们这帮做芯片的人明显就是忽悠我 Elon 就炒了很多人

主播 陈茜：与此同时 软件团队永远抱怨着算力不够用、人员不足 却在极致的成本控制中 倒逼出了极致的技术路线

片头混剪（节目原声片段）：你给我 10 倍（算力）我都能把它用掉

主播 陈茜：这期视频的写稿、采访和制作横跨了几个月 我们对谈了在特斯拉工作十余年的工程师 也去现场体验了特斯拉的无人驾驶车 这个视频 我们从硬件和软件两条线 详细拆解一下 详细拆解一下特斯拉 FSD 的进化史 大家不要忘记关注我们频道 也记得给我们点个赞 接下来就让我们进入 FSD 的世界 今天是美国时间 9 月 23 日 我们从硅谷飞到了德州的奥斯汀 带大家来体验一下 Cybercab 我们的 Cybercab 马上就来了 我们也等了大概 8 分钟 其实比我们想象中等待时间要短 我们的 Cybercab 已经到了 然后 Start Ride 这是我第一次坐上 Cybercab 我自己是 Model Y 的车主 我之前开过 Model 3 但很明显 整个车要比 Model Y 缩水一大圈 甚至我觉得比 Model 3 还要小 我们坐进来之后发现它只有两个人的座位 我坐在本来该是驾驶员位置的左侧 但这边没有方向盘 也没有脚踏板 没有加速板 说实话心里有点小忐忑 但我知道 在目前的运营阶段 特斯拉有启动安全机制 由于 Cybercab 采用了无方向盘 和无刹车踏板的原生无人车设计 车内乘客在遇到紧急情况时无法进行物理接管 为了确保安全 特斯拉在后台配备了远程工作人员来进行兜底 我也知道星链会进行网络保障 乘客也有一键紧急避险 (Emergency Stop) 按钮 靠边停车（Pull-over）请求 并自动接通 Robotaxi 的专属客服 所以我们目前的安全指数是很高的 截止（2026 年）9 月 22 日 特斯拉在美国德州登记的自动驾驶车队（Robotaxi） 总数增加到 476 辆 除了 67 辆 Cybercab 之外 其余 409 辆仍是配备方向盘的 Model Y 车型 特斯拉的 FSD 是如何做到目前的程度呢 这一切 要从一个“黑盒”开始说起 2013 年 已经成立了 10 年的特斯拉 开始决定做自动驾驶 而且最初希望合作的公司 就是谷歌 但是谷歌高精地图+激光雷达的方案太贵 不符合马斯克的第一性原理 同时谷歌主张一步到位 直接做 L4 而马斯克认为 应该先推出 L2 再迭代到 L4 为此双方分道扬镳 也让自动驾驶诞生出了两条路线 并且争论至今 可是特斯拉当时的状态 别说自研了 连活下去都费劲 最现实的路径 就是先找个现成的供应商 于是他们选择了 Mobileye 2014 年 10 月 特斯拉发布了 Autopilot Hardware 1.0 全车的硬件非常基础 只有 1 个前置摄像头 1 个前置毫米波雷达 外加 12 个超声波传感器 芯片为 Mobileye EyeQ3 500MHz 频率 256MB 的内存 放在如今肯定是不够看的

Kerry 刘向科（前特斯拉 AI 硬件开发高级经理）：因为在早期车规的技术上 它的局限性非常地大 （这是）一个不得不采用的一个方案吧 因为你没有别的选择

主播 陈茜：这是 Kerry Liu 他在特斯拉工作了近 12 年 参与了能源 自动驾驶 机器人等多个项目 负责 AI 相关的硬件开发 他告诉我们硅谷 101 FSD 13 年的研发 中间有太多的曲折故事 2015 年 Autopilot 软件正式上线 虽然当时只能实现车道保持 自适应巡航等基础功能 但对于当时的车主来说 这已经非常惊艳了 要知道那个时候大部分的车 甚至都还没有标配定速巡航 有的人在车里吃汉堡 有的人在副驾睡觉 直接把 Autopilot 当成了“无人驾驶” 2016 年 5 月 7 号 佛罗里达州一辆 Model S 撞上了正在左转的拖挂货车 车主当场身亡 事故发生的原因在于 辅助驾驶系统没有识别出货车 在此前 Mobileye 就警告过马斯克 禁止驾驶员双手离开方向盘 但是没有被当回事 这次事故是成了双方彻底谈崩的催化剂 为什么只是“催化剂”呢 这里我们先来说说特斯拉 第一代的 Autopilot 是怎么做的 自动驾驶主要分成 3 个流程 感知 规划 执行 特斯拉与 Mobileye 合作的时候 感知部分算法完全由 Mobileye 垄断 规划与控制由特斯拉自己主导 Mobileye 提供的是 典型的“黑盒（Black Box）”模式 摄像头捕捉到画面之后 直接输入到 Mobileye 的 EyeQ3 芯片当中 计算结果之后 再传递到规划层

Kerry 刘向科（前特斯拉 AI 硬件开发高级经理）：当然这个可能也是当时分裂的原因 因为这个需要你强行两边定义一个接口 然后这个接口之下 Mobileye 的内容肯定是黑盒 不提供给特斯拉 那这点其实就非常阻碍特斯拉开发 因为有时候你想跨越这个接口 或者更改这个接口 但你没有这个控制权

主播 陈茜：所以真正让特斯拉和 Mobileye 分手的原因 是因为合作不畅 此后 特斯拉开始一手独揽算法部分 硬件系统也有了新的合作商 但是市场却不买账了 2016 年 10 月 距离事故仅 5 个月 特斯拉发布了 Hardware 2.0 这次传感器从 1 个摄像头变成了 8 个 芯片从 Mobileye 换成了 Nvidia Drive PX2 你别看这个摄像头的数量它变多了 但是在当时的作用 并不大

Kerry 刘向科（前特斯拉 AI 硬件开发高级经理）：我觉得八个摄像头 它可能是 design for future（为未来而设计） 就是说你未来可能想要做到全自动驾驶 那你不可能只有前面的摄像头 但就当前我觉得 只是要取代 Mobileye 的功能来说 未必我觉得是要用到这么多的算力 去把每一个摄像头的信息都处理

主播 陈茜：不过很快 特斯拉内部发现了 Hardware 2.0 存在缺陷 于是在发布 10 个月之后 又推出了 Hardware 2.5 那这两者的核心区别 就是冗余 因为 Hardware 2.0 是特斯拉第一次用英伟达的方案 当时英伟达也并没有 专门针对辅助驾驶做芯片 所以在结构上就是一个 SoC 再外挂一个 GPU 但问题是 马斯克当时已经在推全自动驾驶了 得考虑一个很现实的问题 万一芯片坏了怎么办 你得有备用方案吧 所以到了 2.5 特斯拉多加了一个 GPU 作为冗余 这就是特斯拉 FSD 双芯片架构的雏形 与此同时 特斯拉也在 6 个月内 通过自研替代了 Mobileye 的算法部分 还新推出了 FSD 意味着和以前大不一样 但是初期表现 却没有预期中那样的顺利

Kerry 刘向科（前特斯拉 AI 硬件开发高级经理）：Mobileye 已经做了那么多年迭代下来 就算它技术比较落后 肯定也还是各方面比较完善一些 你一个新的团队从零到一开始做 刚开始有各种问题我觉得也非常可以理解

主播 陈茜：不过英伟达芯片也只是个过渡方案 接下来特斯拉 FSD 才真正开始发力 2019 年 4 月 特斯拉发布了 Hardware 3.0 用自研的 AI3 芯片 替换掉了英伟达芯片 其实采用自研芯片是迟早的事 早在与 Mobileye 合作的时候 特斯拉就开始布局这条路了 我们先把时间拨回到 2016 年 当年 1 月 马斯克挖来了 芯片设计界的传奇人物 Jim Keller 他在 AMD 设计了 K7 K8 架构 在苹果设计了 A4 A5 芯片 又回到了 AMD 研发了 Zen 架构 后来还去了英特尔 2 月 Peter Bannon 也加入了特斯拉 他的履历同样硬核 加入特斯拉前就有了 近 40 年的计算系统设计经验 曾在苹果、英特尔、PA Semi 等公司任职 领导了苹果 A4 到 A9 处理器的开发 在这两名芯片大神的带领 以及三星团队的帮助下 第一款 FSD 芯片 也就是 AI3 只花了 18 个月就设计出来了 并且在 2017 年 12 月首次流片成功 整个过程非常顺利 它当时甚至第一次流片出来 这个芯片就基本上已经没有毛病了 最后只是稍微小改了一下 做了第二版 然后就量产了 后面就再没改过了 所以 Hardware 3 算是一个非常成功的芯片 因为你要知道做处理器这种芯片 你无论放在 Intel AMD 不管哪家公司 一次流片能够做好的 那是凤毛麟角 很多芯片第一次流片出来连开机都开不了 而且当时用了 14 纳米的制程 相对比较成熟吧 这款自研芯片的一大优势 就是性能强

主播 陈茜：相比 Hardware 2.5 采用的英伟达 Pascal 芯片 AI3 不仅神经网络算力提升了 5 倍以上 在其他各项参数上都有了显著的提升 为什么能够提升这么大呢 是因为这是专为自动驾驶场景设计的芯片 和之前通用芯片架构完全不同 芯片算力不能光看纸面上的参数 像英伟达的芯片 因为是通用的 里面会包含线程调度 内存访问 分支预测等等任务 在执行神经网络任务的时候 实际利用率很难跑上去 而特斯拉定制的芯片 专为实际任务场景做了优化 有效利用率能够达到 80% 相比通用芯片是提升了 50%之多

Kerry 刘向科（前特斯拉 AI 硬件开发高级经理）：2016 年 确实还没有从零开始设计的神经网络加速器 当时大家都在自己的 CPU GPU 或者 DSP 上增加指令 让它们更适合做推理 但没有人真正从底层开始 专门为此做设计 所以 我们决定自己来做

主播 陈茜：而就在 AI3 即将量产的节骨眼上 Jim Keller 离开了特斯拉 由 Peter Bannon 接手整个硬件团队 先别着急为特斯拉担心 因为在业内看来 他的离开早已注定

Kerry 刘向科（前特斯拉 AI 硬件开发高级经理）：我跟他（Jim Keller）一些别的朋友 聊天这个事情 大家给我的一些反馈就说 Jim Keller 这个人是一个非常喜欢做 从 0 到 1 工作的这么一个人 他不喜欢做从 1 到 10 的事情 他之前无论在苹果还是在 AMD 他都是把这个芯片从无到有做出来 然后在这个芯片做出来之前 他就会走 那我想这可能也是为什么 他能够愿意来特斯拉的原因 因为特斯拉要做芯片这个事情 在当时就属于一个从 0 到 1 的事情

主播 陈茜：虽然 AI3 芯片的开发过程很顺利 但是鲜有人知的是 在整套 Hardware 3.0 量产前的三个月 特斯拉内部连轴转到几乎崩盘 而原因竟然是因为马斯克太“抠”了

Kerry 刘向科（前特斯拉 AI 硬件开发高级经理）：Elon 他不喜欢招人 其实他到今天为止 FSD 的这个 包括机器人、FSD 他的软件团队其实人都很少 他们要同时支持 已有的还在量产的 Hardware 2.5 又要同时写着 Hardware 3 的这个软件 那他们明显就是人手不足 做不到 没有软件配套 我们很多东西 很多产品的 就那个芯片的测试 包括很多功能上 想要去跑一下什么之类的都做不到 所以当时我就记得印象特别深 我们就是各种 hack（魔改） 就是自己攒软件 自己写一点什么指令 来模仿他们那个软件上的一些东西 然后自己跑 自己测 量产的前三个月 那时候 Elon 说不行了 必须要开始搞 Hardware 3 了 整个软件团队就只剩三个月时间 我们硬件团队也要配套做测试 你给他们三个月 那就相当于没给我们时间 所以当时就是 他们写一点软件 我们硬件就配套地相对做一些测试 我就记得那三个月是 我在特斯拉最忙的三个月 基本没有休息 三个月 可能 休了那么一两天 两三天

主播 陈茜：用上了自研芯片之后主要带来了两个好处 也就是成本优势和主动权 这背后还有两个与供应商之间的 周旋与冲突 先来说说第一个 众所周知 马斯克一直都非常在意成本 而 Kerry 一项很重要的工作 就是通过各种手段去逼迫供应商降价 德州仪器（TI）是车规芯片的 一个非常大的供应商

Kerry 刘向科（前特斯拉 AI 硬件开发高级经理）：当时在 2018 年 在我们整个车上其实是 每年是要用大量的 TI 的芯片的 那时候 2018 年年底的时候 （特斯拉）都差点破产了 所以当时这个成本的压力其实非常非常大 当时公司提出了 就是说希望 TI 把整个特斯拉用的所有的这些芯片 这些料通通降价 TI 就一直不肯答应 但实际上车规芯片的利润是挺高的 平均那个时候的利润 甚至能做到 50%到 55% 我就把 TI 这套芯片全部给它换掉 我就换成了 ADI 同等功能的一个芯片 其实当时要换这个东西的话 无论是硬件还是软件 都需要做很多测试和开发工作的 但是我就说不管 这个必须得换 然后我就换了 换了之后 TI 没有想到 这一套芯片对他们来讲非常非常重要 因为占了很大一部分的营收额 他们直接就开始求我们 然后又找我老板 就他们的 CEO 也都跑过来说 能不能别换 能不能有什么别的方法 当时采购部门直接就把那个降价表格 给他们发过去说 你只要把这个上面的所有芯片通通降价 我们就改回来 TI 跟我们僵持了大概好几个礼拜吧 最后就同意了 当年的时候 一年可以省大概 2000 万美金 那对于马斯克来讲 实际上是一个非常非常大的成本下降 他当时还特地发信给我们 感谢我们

主播 陈茜：其次 在主动权方面 特斯拉除了前面我们提到的 因为 Mobileye 黑盒算法吃过亏 就连与英伟达的合作也有一些冲突 一方面是因为英伟达它的芯片 并不是专为自动驾驶而设计的 其实到今天为止 你都可以看到英伟达 它最新的索尔（Thor）这种芯片 也都还是一个通用芯片 他不希望自己被任何一家公司牵着鼻子走 它肯定是不希望被局限在特定的一个功能 或者是算力的框架之下 另外一方面则是英伟达团队配合度不太高 这点对于马斯克来说更是无法容忍的

Kerry 刘向科（前特斯拉 AI 硬件开发高级经理）：（2017 年）有些车子有些返修的一些事情 当时我们就在想 好像是主板上温度是不是有点过高 因为英伟达他们芯片有温度感应器 我们就说 你能不能把温度能够给我们显示一下 其实这个事情很简单 写一个很简单的 几行代码的事情 就是写个驱动 英伟达跟我们来来回回扯皮 光扯皮就扯了差不多一个礼拜 完了之后就开始问我们要钱 说要开通这个新功能请付费 除了付费 还要再等一个礼拜 三行代码就能搞定的事情 你已经折腾了快半个月了 就这样的一个合作模式 基本上就很难往下推进了 他（英伟达）也有他们别的核心的产品 在车载这块在当年（2017 年）真的是很难做 效率非常地低

主播 陈茜：好 讲完这些小故事 我们再回到 Hardware 3.0 硬件上 它有一个很大的问题就是 虽然在 2016 年设计的时候 专为当时常用的 卷积神经网络（CNN）做了优化 但是谁都没有想到 一年之后 也就是 2017 年 出现了一篇改变整个 AI 史的论文 《Attention Is All You Need》 2017 年 6 月 谷歌发布了 Transformer 开山论文 后面启发了 OpenAI 诞生了 ChatGPT 与此同时 一个 30 岁的年轻人却离开了 OpenAI 他就是 Andrej Karpathy 与 Mobileye 决裂之后 特斯拉急需从零开始 自研基于深度学习的视觉感知系统 彼时的马斯克还担任着 OpenAI 的联席董事长 在见识到 Andrej 的能力之后 马斯克决定邀请他加入特斯拉 并且直接向自己汇报

档案影像（Andrej Karpathy）：实际上 是马斯克主动联系了我 他找我的那个时机 可以说非常合适 那时候 我真的开始有些坐不住了 我就觉得 这太合适了 我觉得我能做这件事 我觉得 我有能力在这里作出贡献

主播 陈茜：Karpathy 的加入 不仅为特斯拉带来了技术上的创新 更重要的是 当时特斯拉的自动驾驶正处于低谷 急需一位领头人来吸引更多的人才

Kerry 刘向科（前特斯拉 AI 硬件开发高级经理）：因为他是一个 AI 和 machine learning（机器学习）的标志性人物 所以我觉得他来 首先最大的一个用处是 hiring（招聘） 就是 recruiting（招聘） 因为没有他的话 你作为一个 top AI talent（顶尖 AI 人才）毕业 为什么要去一个车厂 但是有 Andrej 可能这些人有一个理由 因为大家可能都上过 Andrej 的课

主播 陈茜：随后 特斯拉在 2018 年到 2021 年间 对算法部分的“感知”模块 进行了一次次升级 接下来我们尽量用通俗的语言 来讲讲其中的四大升级点 还记得自动驾驶的三大模块吗 也就是感知 规划和执行 相关的基础知识 我们在之前的视频当中有详细的介绍 感兴趣的小伙伴们可以回看一下 而 Karpathy 加入的第一件事 就是用神经网络重构“感知”模块 他提出将车道线检测 车辆识别 行人感知 这些基础任务都交给深度学习模型 通过海量数据训练 让系统自己识别环境 这样面对从未见过的路况 神经网络依然能够做出合理判断 这又带来了另外一个问题 你看 系统它又要识别车辆 行人 还要看懂红绿灯 锥桶 减速带 还有施工标志等等 如果每一个任务 都要跑一个独立的神经网络 不仅代码量会非常大 车载的算力也不够用 这就要说到第二个升级点了 就是 HydraNet 架构 它的设计思路是让所有任务共用一个 底层的特征提取网络（Backbone） 只在最顶端分叉出不同的“任务头” 也就是“Head” 这样多个摄像头 多个识别任务 都能共享同一个算力底座 就像一棵树 树干是共享的算力底座 树枝是不同的识别任务 各长各的叶子 但共享养分 HydraNet 不仅提升了计算效率 更重要的是 它能针对不同的识别任务单独做微调 不会影响其他的任务表现 第三个升级点 是从“看图片”转向“看视频” 特斯拉的早期感知模块 更像是一个图像识别系统 摄像头拍下一张照片 通过 CNN 算法依次识别哪里有辆车 哪里有个行人 哪里有车道线 但现实世界是连续变化的 比如说一辆小汽车 被驶过的大巴暂时遮挡之后 摄像头在某些时刻可能无法直接看到它 系统就需要结合前后时刻的信息 继续判断这个目标是否依然存在 以及它可能在哪里 所以特斯拉团队让系统 从“看图片”转向了“看视频” 利用时序信息（Temporal Information） 学习连续几秒钟发生了什么 并预测物体的运动轨迹或行为趋势 这样系统就能够拥有短暂的记忆能力

主播 陈茜：第四个升级点是 Transformer 加持的鸟瞰图视角 也就是 BEV 过去 每个摄像头 更多是在各自完成识别任务 相互之间没有多少交流 比如说左摄像头和右摄像头 都识别到了一辆车 但是系统并不清楚这是不是同一辆 而现在 系统开始融合 8 个摄像头的信息 再通过空间变换和多视角融合技术 并且结合 Transformer 的 交叉注意力机制（Cross-Attention） 把这些信息统一投射到 同一个俯视坐标系中 最终构建出完整的 2.5D 空间模型

匿名受访工程师：但（BEV）这个创新也不是特斯拉独有的 可能更多的是整个学界 因为有更多的 funding（资金支持） 其实一直在去做这些研究 就有一些工作出来 说我怎么把多传感器融合

主播 陈茜：有了这四大升级 到 2021 年的时候 特斯拉的感知模块 开始真正地理解了整个道路环境 但马斯克又突然决定移除车上所有的雷达 这可苦了软件团队 一下又要进入作战模式了 虽然马斯克很早就说过 自动驾驶只需要摄像头就够了 在特斯拉内部看来 移除雷达也确实会带来一定的优势 比如说过去融合多传感器的信息时 会对算法带来额外的负担 同时因为多了额外的硬件 还会增加后期维护的工程量等等 但在 2021 年 5 月 马斯克决定移除车上所有雷达时 还是让大伙觉得这个时间点很突然 你可能会问 是不是因为内部团队 早就做好了测试 或者技术已经足够成熟了 我们刚开始也这么认为 但是 Kerry 告诉我们真实的原因 其实也非常地现实 就是供应链的问题

Kerry 刘向科（前特斯拉 AI 硬件开发高级经理）：当时是因为疫情 毫米波雷达供不上货 毫米波雷达我们的供应商是 Continental（德国大陆集团） Conti 然后后来当时好像是谈崩了吧 当时疫情的时候 基本上采购团队 反正大家都供不上货 只要是这种核心的供应商 如果他们供不上货 采购的这个团队就会升级到 Elon 那边 让他去跟这些供应商的 CEO 直接通话

主播 陈茜：有的供应商非常配合 有的供应商就不配合 也许是觉得我们的量不够多 或者说他们有更重要的客户 基本上这种不配合的供应商就都被拉黑了

Kerry 刘向科（前特斯拉 AI 硬件开发高级经理）：Elon 就直接就是说 OK 你既然不给了 那我也不跟你谈了 就直接不要了

主播 陈茜：在此之前马斯克早就催促过软件团队 尽快在算法中去移除毫米波雷达 但是受限于软件团队人员不足 这件事情就一拖再拖 所以疫情相当于是一个催化剂 去掉雷达之后 测距精度会大幅度降低 为了弥补回这些信息 只能通过纯视觉来预估速度 软件团队也就进入了新的作战模式

匿名受访工程师：因为雷达对速度的估计会比较准 而且对天气情况也没有那么敏感 所以很多人是反对（移除）的

主播 陈茜：虽然移除的过程让团队吃了不少苦 但是根据一些员工的回忆 这件事情却鼓舞了团队士气 因为这不仅验证了团队的能力 也证明了马斯克的方向是对的 没什么比员工对老板的信任更加重要 移除雷达还只是第一步 更重要的是如何只通过摄像头 去构建出三维世界的模型 在 14 个月之后特斯拉发布了这个技术 我们前面说到 2021 年特斯拉发布了 2.5D 的鸟瞰图 而到了 2022 年的 AI Day 鸟瞰图变成了真 3D 这背后的关键技术 就是占用网络（Occupancy Network） 它会把周围的空间 划分成无数个立体小方块 被称为“体素”（Voxel） 如果某个地方被体素占据 就代表那里有障碍物 过去很多时候是用一个物体框 是一个长方形来表达物体 但很多物体 比如说一个公交车它有两节 它拐弯的时候它是一个非长方体了 还有一些可能是其他形状的物体 你一定要用长方形表达它就有损失 信息的损失 对于这个规控模块 比如说有个挖掘机它的臂可能能伸得很长 臂又有一定的高度 有时候你是可以从它下面开过的 但如果臂比较低你又不能从它下面开过 如果你硬要把这个挖掘机 表达成一个 2D 的东西就很奇怪 Occupancy Network 显然是更宽泛的表达形式 因为它是 3D 的 这样一来 系统不再需要“认识”每样东西 就能够实现避障 但是有一个问题 训练 Occupancy Network 需要海量的真实数据去作为参考 也就是“Ground truth” 在训练的时候需要告诉网络 “这个体素它被占了 那个体素是空的” 传统的方法 是用激光雷达的点云去做人工标注 但是特斯拉量产车上没有激光雷达 该怎么样去训练呢

匿名受访工程师：因为过去为什么大家不做这个任务 也是因为你没有 ground truth（真值） 因为你神经网络要学习需要有个标签 但你要说打这个 3D 的 这些所有的 occupancy（占用）的标签 这个是非常昂贵的 一种方案就是你去标激光雷达的点云 但一是特斯拉也没那么多点云 因为它没有 LiDAR（激光雷达） 其次你就算去标那个点云也非常昂贵 因为你要人去把整个那么复杂的 3D 场景 每一个点是属于哪个物体全都标好 这个的 cost（成本） 可能是标物体框的 10 倍 甚至更高 也是我觉得可能算力到了一定程度 能够支持这个（事）

主播 陈茜：其次比较关键的是 特斯拉内部也有一套自己的标注系统 它有这个自动标注的网络 它就可以通过自动生成标签的方式 生成很多 ground truth（真值） 这样也支持了他有能力 去训练这么一个 Occupancy Network 你别看马斯克一直鄙夷使用任何雷达 特斯拉内部还是有一些特殊的车辆 是配备了激光雷达的 为的就是去采集 ground truth（真值） 让自动标注系统更加准确

匿名受访工程师：所以 以我们为例 我们做了大量的人工标注 但我们也在探索一些方法 不用人工标注 就能用这些数据训练 或者 你可以用传感器 用昂贵的传感器为数据提供更多信息 比如 你可以让几辆车在外面跑 搭载雷达或者激光雷达 或者任何你想用的其他传感器组合 让它们提供关于场景的额外信息 这些信息就可以作为计算机视觉的标注

主播 陈茜：经过以上一系列的算法更新 车上的算力越来越捉襟见肘 特斯拉内部也开始着手研发 Hardware 4.0 而这次就不像当初 3.0 那么顺利了 内部经历了各种的反复拉扯 为此马斯克是急得又是拍桌子 又是骂人 2020 年 Hardware 4.0 项目正式启动 上一次 2.5 升级 3.0 的时候 只是在主板上换一颗芯片 并且新增安全冗余 其他结构都大差不差 但是这一次是全系统的重新设计 当然这也意味着 使用 Hardware 3.0 的老车主 无法再像之前一样 免费升级下一代的硬件平台了 （不能升级）很简单一个道理 电路板已经装不下了 因为 Hardware 4 的芯片变得更大 整个内存要占用的位置也更大 内存也更多了 功耗也变得更大了 所以那个电源的芯片也会变得更多 电源供电那些线束 接口 也不可能跟以前一样了 正是因为改了太多的东西 Hardware 4.0 的研发过程 不断爆出各种矛盾 我们就先来聊聊摄像头 在摄像头方面 有两个很大的改动 第一个是像素从 120 万提升到了 500 万 你可能会觉得 这也太抠了吧 手机动不动都到 1 亿像素了 500 万能干啥呢 这背后其实有不少的考量 首先 车载摄像头更看重稳定性 比如说耐高温 抗震动 动态范围 还有寿命等等 才是优先考虑的因素 其次 对于车来说 能够看清一定距离就够了 再远也没有更多的意义 而且车载摄像头更看重的是帧率 它的帧数越高 对应急事件的反应就越快 第三 随着像素和帧率的提升 对于整个系统的数据传输 计算量 还有电气设计都带来了很大挑战 这也意味着不能无脑去堆像素 但是等到 Hardware 4 你都已经要做到 5 个 megapixel（百万像素）了 摄像头这个 CMOS sensor（传感器）的功耗就变大了 你这个电线就会要求变得更粗 实际上这个就是变相增加成本 而且也不利于信号的传输 摄像头出来的这个信号 要传到处理器在车的中间这么个部位 它可能是有 1 米 2 米 甚至 3 米的距离 远距离的这种高速信号传输的话 你就不可能做到说是像手机那样 做一个什么 1 亿像素的摄像头 那是不可能的 数据量太大了 帧数越高的话 那你的数据量也会相对地越大 第二个改动 就是摄像头的位置分布有所变化 原本在特斯拉前挡风玻璃那儿 是有 3 个摄像头的 升级到 Hardware 4 的时候 却被马斯克砍掉了一个

Kerry 刘向科（前特斯拉 AI 硬件开发高级经理）：当时开会说定摄像头分布的时候 Elon 又是很简单 第一性思维 对吧 为什么要放那么多摄像头 人就两只眼 你放那么多摄像头干嘛 你要是跟他意见不统一的话 他就气得拍桌子 然后就开始 F word（骂人） 我们就没有人敢说话了

主播 陈茜：这一砍 还真出事了 因为以前车上还是有毫米波雷达的 可以探测前向距离 移除雷达之后 前保险杠的位置就成为了盲区 比如说在一些停车场景 可能就会撞上 所以我们当时开会的时候 我们推荐的是 如果前面是两个摄像头 那你最好在车头那个位置再放一个摄像头

Kerry 刘向科（前特斯拉 AI 硬件开发高级经理）：这个事情在 Elon 眼里就觉得 这东西你只要 你在入库之前（扫描记忆） 你人开车你也看不到 你那个车头下面有什么东西 对吧 他的这个说法也有道理 因为人是有记忆的 但实际上车在这个判断上面 它其实没有想象得那么简单 这个记忆是需要 有一个模型专门去训练这个东西的

主播 陈茜：于是我们也看到 从 Cybertruck 开始 特斯拉又在前保险杠的位置 重新加上了摄像头

Kerry 刘向科（前特斯拉 AI 硬件开发高级经理）：Elon 他这个人就是这样 就很多事情他自己会有一些非常强的判断 但是他也能意识到 他的这个判断可能不一定是正确的 但是特斯拉公司的好处就是 非常快地去能够弥补或者是更正这些东西 他是能够接受 他（马斯克）不会说是不愿意接受自己的错误

主播 陈茜：原本在 Hardware 3.0 的时候 特斯拉就用上了 两颗算力 72 TOPS 的 AI3 芯片 而到了 Hardware 4.0 上 单颗 AI4 芯片的算力已经翻倍 但这时 软件团队跑出来说 你看我要做到真正的自动驾驶 就得把模型做得更大 算力肯定得更多 还用两颗芯片怎么能行呢

Kerry 刘向科（前特斯拉 AI 硬件开发高级经理）：当时软件团队 也是一开始跟 Elon 说 两个不够 只要有三个 他们就能把 FSD 做出来 然后 Elon 说 好 没问题 他说他相信他们 然后我们就真的把这个东西（三芯片主板）做出来了 三芯片其实在架构上是相对非常复杂的 因为它涉及到冗余的一个判定的问题 因为双芯片很简单 一个坏了 另外一个接管 那三芯片就涉及到到底谁接管的 它这个逻辑上判断就会变复杂很多 当时也是做了各种各样架构上的设计 安全冗余 包括供电 包括信号的这些传输

主播 陈茜：但硬件团队设计完成之后 拉扯又出现了

Kerry 刘向科（前特斯拉 AI 硬件开发高级经理）：直到量产的前一两个月 项目管理的经理说了一句 说我们到底用两个还是三个 然后 Elon 就听了这个事情说 他突然想起这个事情了 估计也可能是 finance（财务）的人 就是 CFO 可能跟他提过这个东西 他就可能觉得 不对 这个事情不能用三个 用三个太贵了

主播 陈茜：软件团队一听说 我们都已经定好用三个了 这个我们都已经开始做研发了 你现在说改回两个 然后 Elon 就说 好 我已经下这个决定 这是最终决定 谁也不要再跟我商量这个事情了 就不用再讨论了 就是两个 然后这个时候我们又赶紧回去 把那个板子重新设计 改回两个 因为马上就要量产了

主播 陈茜：根据内部人士透露 直到现在 特斯拉团队依然在争论 要不要加更多的芯片 为此 Kerry 也是小小地吐槽了一番软件团队 他们内部有句玩笑说 新的芯片才刚刚设计好 软件团队就已经想好怎么全部用掉了 算力肯定永远都不够用 你给我 10 倍我都能把它用掉 这也反映了另外一个问题 就是模型其实有很多可以优化的空间 在我看来 我觉得不是那么的合理 做模型的这帮团队 反正至少特斯拉情况就比较明显 因为人手太少了 大家更多的是把这个模型做得更大 把精力放在这个事情上面 而没有说真正地去 专门找一拨人去优化这个事情

主播 陈茜：除了芯片数量的拉扯 在芯片研发上 AI4 也不如 AI3 那么顺利 前面我们说到 在第一次研发 AI3 的时候 有部分是三星来帮忙设计的 所以到了 AI4 的时候 特斯拉依然选择了和三星合作 而问题就出在这了

Kerry 刘向科（前特斯拉 AI 硬件开发高级经理）：由于当时三星已经 他们在外面已经接了很多生意了 所以他对我们的服务就明显没有 Hardware 3 那么好 所以 Hardware 4 整个 schedule（日程表）其实是有 比较严重的 delay（延迟） 芯片做出来的效果也不是那么的好 流片大概流片了三、四次 这也是跟我们有关 就是跟特斯拉也有关系 用了 GDDR 这个内存 大家都没有用过 在设计上遇到了很多困难

主播 陈茜：这就有个问题了 为什么特斯拉当时要抛弃成熟的方案 选择在车载端不成熟的 GDDR 内存呢 随着自动驾驶的神经网络模型越来越大 AI3 的芯片性能开始跟不上 而真正卡脖子的 却是内存带宽 你可以把芯片想象成一个超级工厂 那算力就是工人的数量 而内存带宽则是把原材料送进工厂的 高速公路 那如果工厂里面有 100 个工人 但是高速公路一次只能运进 20 个人的材料 那么剩下 80 个人就只能站着发呆了 所以随着模型规模以及数据量的提升 自动驾驶对于内存的带宽需求也越来越大 于是马斯克看上了 GDDR 内存 我们来简单科普一下不同的内存 内存大致分为 LPDDR、DDR、GDDR、HBM 这些种类 带宽依次提升 相对应的 功耗也更高 此前特斯拉用的是 LPDDR 常用在手机 笔记本上 而马斯克为了追求更高的带宽 选择了游戏显卡常用的 GDDR 这个思路出发点可以说是正确的 但是受限于行业成熟度 实际研发的时候带来了不少的挑战

Kerry 刘向科（前特斯拉 AI 硬件开发高级经理）：GDDR 我们当时拿到一看就发现 它的功耗其实非常的高 而且没有什么厂商做这个东西 尤其车规的 也是第一次放在车上 而且是我们的自研芯片 而且还非常的小众 功耗特别大 价格也比较高

Kerry 刘向科（前特斯拉 AI 硬件开发高级经理）：所以用了这么多年 Hardware 4 你可以看到 其实它的内存的容量就成了一个瓶颈 因为没有人去给车专门提供 大容量的 GDDR 因为特斯拉是唯一一个公司在做这个事情 所以不可能因为特斯拉 去让美光 或者是三星 专门研发一款大容量的 GDDR 去给车规用的

Kerry 刘向科（前特斯拉 AI 硬件开发高级经理）：其实特斯拉现在内部一直都在做 这个 Hardware 4.3 把它改成用 LPDDR 然后就是说牺牲一点点带宽 但是提高这个容量 因为他们的模型现在已经越来越大了 所以可能在不久将来 你们应该看到车上会装这个 Hardware 4.3

Kerry 刘向科（前特斯拉 AI 硬件开发高级经理）：在当时也许有别人看出来 但是别人没有一个人愿意提 我是唯一一个提出来这个事情的人 但是没有人愿意听我的 但是我觉得这个应该是当时的一个 决策上的失误吧

主播 陈茜：虽然 Hardware 4.0 的研发过程充满了波折 但是最终在成本控制上 依然非常符合马斯克的作风 根据 Kerry 的透露 整套硬件的成本 甚至比 MacBook Air 都要低很多 基本上就是个普通 iPad 的价格 而且随着技术不断地迭代 成本还会继续降低

Kerry 刘向科（前特斯拉 AI 硬件开发高级经理）：特斯拉在这个事情上 其实更新换代、迭代速度是非常快的 你外观上可能看不出这个车有什么变化 但实际上这个车每隔几个月 里面的东西都会有一个非常大的变化 在性能维持不变的情况下 成本降低

主播 陈茜：额外说一句 特斯拉自研的芯片 不管是 AI3 还是 AI4 除了被用在车上 还被装进了服务器里 进一步平摊了研发成本 （车和服务器）其实芯片都是一样的 只是在电脑（服务器）设计上可能有一些区别 接口 包括一些信号传输上面有一些区别 和主打训练的超级计算机 Dojo 不同 使用 AI4 芯片的服务器 主要做两个方面的工作 第一个是叫做 Pixel Injection（像素注入） 这个名字听起来有点抽象 我们可以换个说法 把它理解为类似世界模型的仿真环境 通过生成各种虚拟场景 来训练自动驾驶模型 而第二个就是推理验证 特斯拉会把真实道路上采集的视频数据 回传到 AI4 服务器里 让它模拟 FSD 系统 在当时场景下会怎么去决策 然后把决策结果和当时人类驾驶员的 实际操作做对比 用来迭代下一版模型 Hardware 4.0 在 2023 年 2 月正式装车 可惜的是它上车还没多久 又要“过时”了 因为它设计得比较早 没有针对 Transformer 去做优化 那你可能就要问了 为什么 Transformer 优化如此重要呢 因为这一次 特斯拉推翻了此前的所有代码 推出了端到端 2022 年 7 月 Andrej Karpathy 离开了特斯拉 由软件团队的创始成员之一 Ashok Elluswamy 接替他的位置 一时间 外界纷纷猜测 特斯拉在算法上遇到了困难 股价也应声下跌

档案影像（Andrej Karpathy）：我算是逐渐让自己进入了 一个有点偏管理的岗位 但从根本上说 这不是我喜欢的工作 但我觉得到了这个阶段 我已经把团队搭起来了 感觉它可以自主运转了 而我成了一名管理者 而我想做更多技术方面的事情

主播 陈茜：确实 如果按照当时的路线发展下去 Karpathy 的工作 将是不断地优化已有的路径 日益重复 但是他没有想到的是 年底 GPT 3.5 震惊了整个世界 当时马斯克刚刚收购了 Twitter 想从特斯拉抽调一批工程师 去优化推荐算法 其中的一名工程师 名叫 Dhaval Shroff 然而他并不想离开特斯拉 于是他告诉马斯克 自己正在做“车用的 ChatGPT” 也就是用神经网络替代所有的规则算法 让系统通过模仿人类的驾驶行为 学会自己开车 这样一来 即使面对没有见过的场景 系统也能够自己避障 必要的时候还能做出 类似人类驾驶员的灵活判断 比如说压实线避障 这和过去呆板的 rule based（基于规则的）方案 完全不一样 Shroff 的解释瞬间击中了马斯克 甚至马斯克都开始畅想着 要做一个像《007》电影一样的场景演示 于是 Shroff 是留了下来 后面就是我们听到的 特斯拉推出了“端到端”（End to End） 把之前的 30 万行代码 精简到了 2000 行

主播 陈茜：我们采访了 特斯拉前 AI 软件工程总监 Srihari 他过去负责特斯拉 Robotaxi 和 Optimus 项目的 AI 工程团队 以及软硬件协同设计团队 前还因优化特斯拉车载 AI 计算机的性能 被马斯克点名表扬 称没有他们团队 Robotaxi 将无法实现 Srihari 回忆说 端到端的探索在 ChatGPT 出现之前就已经开始了 而 ChatGPT 可能加速了这个进程

Srihari Sampathkumar（特斯拉前 AI 软件工程总监）：在 ChatGPT 出现之前 其实就已经有了一些尝试 去尝试类似的想法 和类似的方法 我觉得 我觉得 可能是 ChatGPT 加快了 其中一些尝试的进程 让我们 在某些方向上加大了投入 但我觉得 我们早就在尝试 也已经研发其中的一些部分很久了 算是在逐渐走向那个方向 好的 我听说当时是 一个很小的团队在做这件事 对 有多少人 我记得人确实很少

主播 陈茜：2023 年 8 月底 马斯克在自己车上 用手机直播了 FSD 端到端的 第一次公开演示 当时他随机在地图上标记路径点 证明这不是预先规划好的路线 然后车就自己开始行驶了 虽然中间闯了一次红灯 被嘲笑了很久 但是在一些业内人士看来 这样的表现已经非常好了

匿名受访工程师：我其实还是挺 respect（佩服）的 因为作为一个全新的技术路线 能做到这样的程度 实际上已经是有很强的信号了

主播 陈茜：2023 年年底 特斯拉内部员工开始批量地收到 端到端版的 FSD V12 推送 直到 2024 年 1 月 正式面向普通车主推送 虽然特斯拉确实是第一个 将端到端落地的车企 但这项技术理念 并不是特斯拉最先发现的 早在 2016 年就已经被英伟达提出了 甚至在学术界 这个概念在 1989 年就有了 那关于端到端的各种技术原理 有什么优劣势 以及各种 drama（戏剧）故事 我们在《自动驾驶》这期视频当中 有非常详细的解释 感兴趣的话可以回看一下 那这期我们就不多赘述了 不过当时我们采访的时候 嘉宾们对于一点提出了很大的质疑 那就是既然 FSD V12 是一整个神经网络 那么 BEV 上的显示输出是如何来的呢 这次我们还额外（匿名）采访了 参与开发的特斯拉算法工程师 他就这个问题提供了他的解答 特斯拉在整个神经网络的中间 额外分出了一条任务 也就是“head” 去专门显示鸟瞰图 在推理的时候这个分支就像阑尾一样 除了显示之外 是没有参与其他功能的 说到这个“head” 是不是很熟悉 就是我们前面讲 HydraNet 的时候 用到的架构 值得一提的是 尽管 FSD V12 几乎彻底重写了底层代码 但是其中也复用了不少以前 Andrej Karpathy 用神经网络重构感知模块的思路

Srihari Sampathkumar（特斯拉前 AI 软件工程总监）：并不是说 好 就把我们之前付出的努力 全都扔掉 比如 我们构建的那些网络和方法 为了更好的物体检测 占用感知等 可以说 它们就像是种子 为我们下一步想做的事情 打下基础 所以 这些工作也一直 对下一步有帮助

主播 陈茜：那我们再来解析一下 这两年来 FSD 又有了哪些新的进化呢 2024 年 11 月 特斯拉推出 FSD V13 它增加了模型参数 提升了接管里程（MPI） 新增了“车位到车位”功能 同时模型还对 AI4 芯片进行了优化 更重要的是 V13 让摄像头捕获的光子信息 不加任何前置处理 直接输入到模型当中 不仅减少了从输入到输出的延迟 还能让模型理解场景 预测每个物体之间的关联 从而开起来更像人 减少了卡顿、犹豫的表现 此外 V13 还提升了摄像头输入画面的帧率 和分辨率 来解释一下 虽然之前 Hardware 4.0 更新的时候 摄像头已经提升到了 500 万像素 但是受限于算法模型在感知的时候 并没有完整地利用全部像素 摄像头的像素用上多少 这个是算法完全可以自己控制的 那如果说 FSD V12 是为了验证端到端的可行性 那么 V13 的目标就是简化控制栈 让模型运行得更有效率 那这版更新甚至被内部工程师比作成 SpaceX 的猛禽 V3 火箭那样“clean”（简洁）

Srihari Sampathkumar（特斯拉前 AI 软件工程总监）：在特斯拉我们优化的目标 是每瓦功耗的智能水平 因为车里只有一台很小的计算机 你要怎么让它 发挥出尽可能高的智能 所以 我们投入了很多工程工作 在推理这一侧 也在训练这一侧 你怎么才能真正把 尽可能多的智能 塞进它里面 能不能做到 所以我觉得 我们投入的这些工程工作 确实让我们的这些模型更新 带来了非常显著的提升 在模型迭代上取得了更大进展 所以 这涉及训练 也涉及推理 还有所有的工程、数据、基础设施 以及围绕这些展开的一切 为的是真正构建更好的模型 让每瓦功耗提供更高的智能水平

主播 陈茜：到了 2025 年 10 月 特斯拉直接跳过了 FSD V14.0 推出了 V14.1 马斯克称 这是继 V12 之后的第二大更新 模型参数提升了 10 倍 让 Robotaxi 技术 第一次大规模回流量产车的版本 还引入强化学习训练、升级视觉编码器 并且重写了底层 AI 编译器等等

Srihari Sampathkumar（特斯拉前 AI 软件工程总监）：我觉得 FSD V14 主要 是在进一步增加 加大对缩放定律 这条路线的投入 加大投入 看看我们究竟能做到什么 因为 正如我刚才说的 我觉得 整个物理 AI 领域是一个新领域 也就是说 没有关于缩放定律的文献 也没有关于这些问题的 相关文献 你要怎么真正构建出一些东西 去展示到底有哪些可能性 所以 真的是这样 我们必须发明 一整套技术栈 才能让这件事 在物理 AI 领域真正运行起来 那你要怎么对这些部分进行协同设计 因为很多已有的研究文献 都是为了让它适用于 比如 比如 Transformer 或者自回归 Transformer 之类的 但我们必须找到自己的架构 让它真正运行起来

主播 陈茜：用一句话来总结 V14 那就是继续提升模型规模 打个不那么恰当的比方 就像种一棵树 V12 的目标是验证这棵树是否能够存活 那 V13 是剪掉一些不影响生长的枝叶 而 V14 则是继续地施肥 让树长得更高 我们也确实看到 此后 FSD 的表现是有了不少的进步 比如说 2025 年年底的时候 一辆 Model 3 从加州出发 经过两天的行程 驾驶了 2700 英里到达了南卡罗来纳州 全程使用 FSD V14 而且没有一次人工干预 此前 端到端一直饱受诟病的是 它是一个黑盒模型 工程师难以验证它到底学会了啥 如何思考 而且端到端网络输入的是上亿个 Token 最终只输出了两个动作 也就是转向和加减速 这样巨大的压缩比 会让神经网络学到“虚假相关性” 比如说在一条训练素材中 驾驶员在行驶时减速 是因为看到了前车刹车灯 而模型却误以为原因是看到了 旁边摇晃的树枝 在最近的几次分享当中 特斯拉的 AI 软件副总裁 Ashok Elluswamy 就介绍了他们的解法 在训练数据方面 虽然特斯拉有海量人类驾驶视频 但大部分是无聊的高速巡航 如果全量收集再筛选 成本会高到离谱 所以特斯拉在车端部署了筛选器 只将那些高价值的片段上传训练 比如说各种极限反应、复杂路况 或者遇到了特殊车辆等等 这样不仅能够节约成本 还能够让模型学到更多危险场景 在可解释性方面 特斯拉会让网络在训练过程中 额外生成一个 3D 世界表示 也就是前面我们提到的 让模型在其中一个节点 输出自己构建的场景 用于检查模型到底关注了什么 是否建立了正确的空间关系 那在可验证方面 其实就是我们前面说到的 AI4 服务器的作用了 用另一个独立的生成式神经网络 不断生成模拟现实的环境 也就是世界模型 同时把训练好的 FSD 算法 放到这个模拟环境当中 让它在里面驾驶 模拟环境会不断引入各种变量 比如说把曾经让系统犯错的片段输入 验证新版本是否修正 或者注入新的极端场景 测试 FSD 的极限反应 最后这点看上去 很像传统的仿真系统（simulation） 但是在最近大火的世界模型加持下 已经有了很大的不同 传统仿真主要靠人工建模 比如说工程师手动搭建场景、定义物体 编写物理规则 然后再用渲染器把它生成画面 而最新的趋势 是用世界模型生成场景 就不再需要“建模-渲染”两个步骤 模型可以直接生成每个传感器看到的内容

Srihari Sampathkumar（特斯拉前 AI 软件工程总监）：那它的 flexibility（灵活性）肯定是更高的 它的 potential（潜力）也比较高 因为它可以把两个步骤合在一起 它可能基于一个已有的视频 去延续这个视频之后的 rollout（推演） 它可以把所有的建模都合并在 这个（神经）网络里面

主播 陈茜：但是基于世界模型来训练的仿真环境 有两个很大的挑战 第一是硬件性能 因为需要实时渲染场景 对计算资源要求极高 第二是模型表现 必须要确保模型生成的世界足够真实 每项输出得和真实世界的演变 有很强的相关性 比如说当你右转的时候 可能有行人在过马路 或者影响其他的车辆 这个时候如何按照现实世界 来模拟这些车辆和行人的反应呢 是非常棘手的挑战 在最新的 FSD 算法中 输入到模型的不光是视频数据 音频也会参与到决策当中来 目前主要是用来识别环境 未来还会融入到车辆控制当中

Srihari Sampathkumar（特斯拉前 AI 软件工程总监）：我们有自己的音频模型 目前它不是用来 做自然语言 交互的 它更多是用来 你知道的 理解车周围的各种声音 比如警笛 应急车辆 之类的声音 但在未来 是的 我们会 全面集成语音控制指令 用这些指令来控制车辆 所以这背后的思路就是 人类所感知到的各种输入 我们能不能也把它们提供给 AI 然后 你就能开始看到改善 在这些信息有用的场景中

主播 陈茜：除了量产车之外 端到端的 FSD 还让马斯克有了更大的信心 去推出 Robotaxi

档案影像（马斯克）：我们的自动驾驶未来已经到来 正如我所说 我们有 50 辆特斯拉在自动驾驶

主播 陈茜：2024 年 10 月 特斯拉发布了 Robotaxi 没有方向盘、没有踏板 完全为无人驾驶设计 而真正的 Robotaxi 服务 直到一年之后才开始落地 2025 年 6 月 特斯拉在奥斯汀启动了 Robotaxi 试点 初期只投入了 10 到 20 辆 Model Y 的测试车

匿名受访工程师：在硬件上 特斯拉所有的 Robotaxi 不管是 Model Y 还是没有方向盘的 Cybercab 都和量产车没有任何的区别 没有任何的差别 只是在安全冗余上 当时针对 Cybercab 做了一些硬件安全冗余上的优化 但是这个优化 后来也都已经放到 所有的（量产）车型当中了

主播 陈茜：而关键的区别在于软件上 一方面 Robotaxi 的软件版本 相比量产车更新得更频繁 我们现在在坐的（Model Y Robotaxi）的算法 或者是 FSD 其实是会比我们现在 自家车里面用的 FSD 会稍微的 会是比较先进的那一款 但并不是完全的两个技术 它们是基于同样一个大树上的 现在的这个模型 它就是比如说放到 我们现在开的特斯拉上面 它其实也还是 L2 但是它这套模型放在 现在我们在坐的这个 Robotaxi 里面 它就是 L4 对 或者说这几辆车 它的能力足够了 同时它也获得了政府许可的 L4 的运行资质 可以说 Robotaxi 所运行的软件版本 是特斯拉内部最新最强的 只有经过长时间测试稳定之后 才能够推送到量产车中 这就带来了一个问题 就是如果最新的软件测试出问题怎么办呢 所以另一方面的区别就是 Robotaxi 是额外引入了远程监管机制 在乘坐 Cybercab 的过程中 我其实对安全问题没有那么担心 因为我知道目前的阶段 马斯克和特斯拉一定会最大努力的保证每一辆车的安全 但真的等 Cybercab 扩张到几千上万 乃至数十万辆的规模的时候 如何在保证安全的情况下快速扩城 才是最大的挑战 这也是外界对特斯拉扩城速度的质疑

匿名受访工程师：那现在我们的这个车应该是有远程监管的 我推测可能是有人在看着我们的 在最早进行的时候 在他们的战备室里面 就可以看到当时他们最早的几辆车 大家都是随时在盯着他们的 其实每一公里的 今天此时此刻的成本可能是非常高的 因为它也包含着 后面在盯着我们这些人的工资 对 当然在长期的情况下 当它能够证明自己足够安全的时候 那么特斯拉应该就会考虑说 把这些人工的比例减少 然后把这个成本拉下来

主播 陈茜：从奥斯汀上线后的一年时间 特斯拉已经陆续在加州旧金山湾区 内华达、亚利桑那等多个地区 获得不同条件下的运营许可 虽然不同地区因为法规不同 进度有所差异 但是总的来说 测试和扩城都在快速地进行中 在 Srihari 看来 现在特斯拉 Robotaxi 的挑战中 技术已经不再是问题了

Srihari Sampathkumar（特斯拉前 AI 软件工程总监）：总体来说 我觉得 这已经不再是一个技术问题了 这似乎主要涉及验证与监管 就目前的部署阶段而言 你能多快部署 你怎么获得反馈 你又怎么改进这个部署过程 因为说到底 这确实是一个扩大规模的挑战 而且 要在不同的地理区域 扩大规模 问题是 谁有合适的基础设施 能真正更快地扩大规模

主播 陈茜：不过想要更好的体验 还得看下一代的硬件 因为 FSD V14 所运行的 Hardware 4.0 又一次接近瓶颈了 那么最后我们来聊聊 即将发布的 AI5 芯片的研发内幕 这次的难度比 AI4 还要更大 内部还出现了 对马斯克的瞒报与欺骗的行为 2025 年 8 月 一条消息在 AI 圈炸开了锅 号称“全球最快的 AI 训练计算机” Dojo 项目被叫停了 同时马斯克解散了 Dojo 团队 要知道 Dojo 曾经被马斯克视为 特斯拉 AI 的核心基础设施 甚至被华尔街视为价值数千亿美元的 潜在资产 这一举措不免让业界怀疑 特斯拉还有训练 AI 的能力吗 而马斯克解释称 因为 AI5 AI6 芯片 在训练方面表现也不错 可以直接让自研 AI 芯片用到训练阶段 因此没有必要浪费资源 重复投入到 Dojo 上 可以看出后续的 AI5、AI6 芯片 关乎着特斯拉模型的成败 然而亲身参与 AI5 研发的 Kerry 向我们透露说 这款芯片的研发 遇到了巨大的挫折和隐瞒 甚至 Peter Bannon 的离职也与此有关 那故事要从 AI4 的研发开始说起 前面我们提到 当时 AI4 由三星来合作设计 但是双方配合的时候产生了很多摩擦 于是到了 AI5 的研发上 特斯拉决定停止与三星合作 当时特斯拉的硬件负责人 也就是我的老板 叫 Peter Bannon 他就做了个决定 从 AI5 开始 我们要做完全自研 就不再使用外包服务了 也就不再使用三星了

Kerry 刘向科（前特斯拉 AI 硬件开发高级经理）：那跟三星分手以后 我们的团队明显是不足以来支撑 完全自研这么复杂的芯片的一个项目

主播 陈茜：这个决定从战略上看是对的 毕竟只有完全自己掌控设计 效率才最高对吧 非常符合马斯克的作风 但是在执行上却出了问题 一方面人手不够 虽然特斯拉为此新招了很多人 但是和三星这类几百上千人的 芯片设计团队相比 数量差距还是太大了 另一方面 经验不足 就算特斯拉的工程师都很厉害 但是从来没有完全靠自己做过一颗芯片 此前 Hardware 3 和 Hardware 4 的芯片 都是由三星深度参与 现在自己单干起来 很多环节都缺乏经验 在这两个因素下 AI5 的研发进展非常缓慢 而更致命的是 其中的项目主管在工作中 还存在着隐瞒与欺骗

Kerry 刘向科（前特斯拉 AI 硬件开发高级经理）：当时也跟这个项目在德州那边的主管 有一定的关系 就是他相当于隐瞒了很多 研发当中的一些困难 他其实遇到很多困难 但他没有真实地反映出来 所以这个事情就一拖再拖 AI5 这个芯片是要交给台积电来流片的 因为那个时候一直说（AI5）马上就要做好了 一直跟他说 再有两个月 再有两个月 这个再有两个月说了快一年了 结果后来 Elon 把这个图纸发给台积电 台积电一看说 这哪是再有两个月 这估计再有一年 你们做这么久 怎么做出这么个东西 说这东西根本没办法流片 这离流片差远了去了 然后 Elon 一听这个事就知道 你们这帮做芯片的人明显就是忽悠我 没跟我说实话 Elon 就 fire（解雇）了很多人 包括我的老板（Peter Bannon） 还有芯片部门的领导也都被 fire（解雇）了 Kerry 对硅谷 101 表示 在他的视角看来 他的老板 Peter 也算是受害人

主播 陈茜：他认为 Peter 并没有参与瞒报的过程 但因为涉嫌瞒报的主管直接汇报给他 导致 Peter 有连带责任 在此之后 马斯克便开始亲自接管了芯片设计团队 并且列出了两个方案并行 方案一是找了第三方的芯片设计公司 作为外包 辅助现有的 AI5 设计 并且继续交由台积电生产 另一个是找回了三星团队 让三星来帮忙做另外一款 AI5 今年 4 月 15 号 台积电版本的 AI5 已经完成了第一次流片 预计将于 2027 年开始量产 根据马斯克的说法 这款芯片在特定任务上 速度将比 AI4 提升 40 倍 业界猜测搭载 AI5 的 Hardware 5.0 算力 将达到 2000 到 2500TOPS

Kerry 刘向科（前特斯拉 AI 硬件开发高级经理）：这个芯片功能上 我想应该是非常强大的 而且也是用了 MCM（多芯片模块）的技术 可以说也是一种挑战

主播 陈茜：这还只是第一版 三星的版本也在推进 两个版本最终都叫 AI5 只是一个是台积电工艺 另一个是三星工艺 根据 Kerry 的猜测 最终两个版本的芯片 可能会在同款车型上混用 但是消费者是不会感知到差异

Kerry 刘向科（前特斯拉 AI 硬件开发高级经理）：同一款车型 例如说有的用台积电的 有的用三星的 这个是没有问题的 它是可以混用的 但是它不可能在一个电路板上混用 但是最终反映到用户上面 我觉得应该不会有什么太大的差别 就是在 FSD 的这个使用体感上 你应该没办法去区分 它到底是三星的芯片还是台积电的芯片

主播 陈茜：不过呢 Kerry 透露 也有最新的内部消息说 AI5 芯片也有可能不会装到车上 原因是马斯克认为 AI4 已经够用了 AI5 将主要用在算力中心和机器人上 但这可能也会有进一步的变数 所以我们届时以官方宣布为准 看看 AI5 的应用方案到底如何 接下来 FSD 的故事还在继续 我们也期待着 AI5 量产装机之后 看看它的实际表现到底如何

主播 陈茜：回到我们开头的那个问题 为什么是特斯拉做出了 FSD 呢 不要说传统的那种汽车公司了 甚至像硅谷的（公司） 有些新的技术可能要衡量很久（用不用） 但是特斯拉一直都是非常愿意去承担风险 然后能够快速使用新的技术

Srihari Sampathkumar（特斯拉前 AI 软件工程总监）：这就让我们工程师做的事情 就会变得非常有趣 管理好所有这些资源 是很困难的 要找到一种方式 让你不会 你需要押注未来的技术 同时 你又必须把当前的技术交付出去 这是一门艺术

主播 陈茜：Srihari 就认为 因为特斯拉内部没有繁杂的流程 大家专心倾注在产品打磨上 才能够保持快速地推进

Srihari Sampathkumar（特斯拉前 AI 软件工程总监）：我觉得 总体来说 特斯拉最好的地方是 它没有那么多官僚流程 也就是说 好 我们是不是真的在 试着把注意力放在那些真正能让产品 变得更好的事情上 你在很多方面都受到限制 算力受到限制 还有人员也受到限制 时间也受到很大的限制 因为你必须 发布新功能

主播 陈茜：回到 13 年前 特斯拉刚开始做自动驾驶时 它和 Google 走向了两条完全不同的路 Google 也就是后来的 Waymo 选择的是一条更谨慎的路线 更昂贵的传感器、更严格的安全冗余 先在有限区域里把无人驾驶做出来 再一点点地扩大边界

主播 陈茜：特斯拉的选择恰恰相反 它把摄像头装进几百万辆量产车 把一个还远没有成熟的系统交给真实世界 然后在一次次事故、争议 返工和软件更新中 继续往前走 13 年之后 这两条路线依然没有分出胜负 而如今自动驾驶之战 正式进入了下半场 这场战争已经无关技术路线了 它的名字叫做经济之战 今天 Waymo 依然在无人驾驶商业化 和实际运营上保持着明显的领先 而 Cybercab 才刚刚开始 在奥斯汀有限区域运行 与此同时 美国联邦监管机构 已经对特斯拉 Cybercab 启动调查 核查设计是否满足安全标准 所以前方还有诸多不确定性 而现在还不能证明特斯拉已经赢得了 自动驾驶战争 在 10 月 FSD 的 V15 应该就要发布了 那这无疑是一个重要的里程碑 目前媒体透露的消息 包括它的模型参数规模 较前代扩大了 10 倍 那这个版本 意在支持 Level 4 级别的无人驾驶 早期版本已经在 特斯拉的 Robotaxi 车队当中部署运行了 那我们也拭目以待 V15 的更新对特斯拉无人驾驶车队 进程的影响会有多少 但至少在目前 特斯拉已经成功地证明了一件事 那条曾经被很多人认为过于激进的路线 一直留在牌桌上 甚至走到了下半场的决赛圈 已经开始改变很多人的生活方式了 但也许真正困难的问题 现在才开始 特斯拉要证明的 是当没有安全员、没有方向盘 面对数百万次真实出行时 它还能不能保持足够稳定的安全性 以及 Waymo 要与特斯拉比拼的 是在多地已经跑起来的无人驾驶系统 能不能继续扩城、扩大车队 并且把成本降到真正的大规模商业化 接下来我们还会出一期内容 讲讲 Waymo 和特斯拉的扩城之战 大家不要忘记关注我们的频道 不要错过更新 那以上就是这期视频的全部内容了 你们的点赞 转发还有留言 是支持我们《硅谷 101》 做好深度科技和商业内容的最佳动力 我是陈茜 那我们就下期视频再见啦 bye～