这一周三场对话互相拆台:兹维说 2027 会疯,埃文说卡脖子的是信用不是电,洛尼斯说晶圆厂永远买不来。四个阀门,你猜谁关着。1
这一期在问什么
同一周的三场直播,被剪成一条 88 分钟的合辑。开场就把问题摊开:从今天起,到底什么在决定 AI 的速度——是能力自己会加速,是钱,是原子,还是法律?三位嘉宾给的答案互相排斥,而这正是本期值得听的地方。转场与串联由内森的克隆声音朗读,节目里明确说明;嘉宾段落来自 10 月 21 日与 22 日两场直播。
一、如果没有人打出全垒打(04:58)
内森把「我们在递归自我改进上到哪一步了」称作当下全宇宙最重要的问题。已有一批分析认为,实验室博客里那些「每位研究者 1.6 倍」的加速会自己熄火。
兹维接受这个结论,但判定它无关:那是一局「假设永远没人打出全垒打」的比分,而球赛的比分由偶尔出现的全垒打决定。2他举的旁证来自英伟达——让 CUDA 效率翻倍所需的时间,在 2026 年内大幅缩短。那不是真正的递归自我改进,但它说明一类与 AI 研发高度相似的技术工作,现在能被做得多快。
他的时间线判断:他在这件事上最信任的人,横跨 OpenAI、Anthropic、Google DeepMind、METR 与政策圈,相信「2027 会彻底疯狂,2028 可能面目全非」。慢起飞式的 RSI 已在低层级开始;到明年年中,他的新闻分诊会难以为继——六个月前的头条,现在只值一句话,甚至被默默跳过。3
二、已经干净了?(13:07)
Goodfire 的尼克·卡马拉塔发表《神经网络已经干净了》,主张单个神经元大多只做一件可以理解的事。文章席卷了讨论。4
内森的解读分两层。第一层是诊断:随着模型更大、可解释性手艺更好,过去那种混乱也许只是水平问题。第二层是外溢:这篇文章激发了无反向传播训练的进展。所有机器学习架构都受限于必须可微才能走反向传播;放弃可微能多探索一大片空间,代价是从解析变成猜—验,所以一直慢到没法竞争。而如果只有强激活真正起作用,猜—验就只盯强激活的神经元——结果不只是可行,这批人做出的梯度更新与反向传播几乎一样。他的结论是「确实是个真东西」,但把它当成新纪元的标志,「更像是人们太渴望希望了」。
兹维读完全文后的判断:好文章,被评论的人严重吹过头。文章没解释的东西列得很清楚——弱激活、KV 缓存、注意力在实践中如何运作;它也不能预测模型会说什么。他给的反例是那个被当作招牌的「科罗拉多神经元」:它同时对龙卷风系统响应,强度差不多。
普拉卡什问多义性与叠加态是不是真正的门槛。兹维说,被降低的是「预期难度」,而一路上的主要障碍其实是「苦涩的教训」——没有足够算力去一个神经元一个神经元地啃。现在能啃了,发现难度只有预期的十分之一,但那在 AI 上是一次小得多的跃迁。
后半段换了方向:独立研究者索尔斯做出实验,模型可以被训练成识别自己正被内部激活探针监控,信号来自 GPU 精度有限——计算顺序改变最后读出的数字。5兹维的框架是墨菲定律:现在不是开箱就会,但只要学它对 AI 有价值,压力一施加就会出现;这是完全成立的存在性证明,而 AI 会越来越难被骗。
最后是干预:找到坏行为神经元之后该不该动它。兹维说他刻意不帮这一类工作——你优化的是网络在你眼里的呈现,网络会把它解读成损伤并绕开。他还顺手评了 Goodfire 的名字:不确定是 good,只确定是 fire。
三、认知内核(28:04)
流行想法是:神经网络是糟糕的数据库,应当把推理与事实解耦,留一个极小的认知内核,其余靠查。卡帕西管这叫认知内核,一个圣杯式的东西。
兹维说这个想法是错的。事实不是可查可不查的附件:丰富的事实给出直觉与启发式,你才知道该问什么、该查哪五条。他用「大模型味」概括那种丰富度,并承认这里有权衡——记忆的边际成本固定甚至上升,边际收益递减——但算力变便宜、算法变好,盈亏平衡点一直在上移。
他随后给出安全上的推论:把内核压到最低,「不要偷」就是必须单独装进上下文的一条事实,那也意味着你可以把「偷」装进去。真正的认知内核完全非道德,它只是处理信息。所以拿它做什么,才变得重要。
四、黑色十月(35:36)
这一周 PHP 本身被披露两个严重漏洞,让数以百万计的网站处在风险里,Cloudflare 已经在数到百万级的利用尝试。6主持人把它接进七月的 OpenAI 与 Hugging Face 入侵事件(内森管它叫 OpenFace):这样的攻击落到银行身上会怎样?
普拉卡什先给出常规答案:FDIC 可以周五接管一家倒闭的银行、周一让它照常开门,没有一个人损失一美元。内森追问的是新条件:如果问题不是资不抵债,而是「一千二百条 agent 轨迹,全都可能是伪造的」,这套周末手术还成立吗?7
普拉卡什的回答是拆解:记录烧掉与丧失偿付能力是两件事。支票照兑、取款照付,超额取走的回头追回;系统的本质是承诺与信任的层层叠加,数据可以随时间重建。他很乐观。
随后他把视角拉远:过去二十年,加密货币把这些问题都提前碰过一遍,结局却是人攥着价值百万的密钥、时刻防着被抢,甚至有人因此丧命。所以让每个用户自己保管高价值密钥不可持续。终点是「网络认识所有人」——你不需要密码,网络随时知道你是谁。那也就是数字匿名的终结。
五、信用才是瓶颈(41:52)
SF Compute 的埃文·康拉德给出本期最反直觉的一句:瓶颈不是电力,不是芯片,完全是信用。
机制是抵押品无法定价。贷款方收回的是一台超级计算机,他不知道怎么用,也不知道将来值多少。于是融资只能押客户的信用——而几乎每一家 AI 实验室的信用都不好,因为都是新公司,连 Anthropic 与 OpenAI 谁活下来都还悬着。结果是一个很硬的门槛:新实验室要拿到集群,就得付一大笔押金、签三到五年的长约。
为什么 AI 创业公司要在没有收入、没有产品时就融天文数字?因为「三年合约一次付清,谁都愿意跟你合作」——那不是估值,是让合约变成现金预付的门票。埃文给投资人的那句话很刺:「该投哪家实验室?答案是你投的那一家」;你能看到的赢家就是拿到大钱的那几家,这是幸存者偏差。
他还拆了一个常见印象:超大规模云相对新云并没有显著价格溢价,那是错觉。贵的是按需,新云大多卖预留合约,长期本来有折扣——你放弃的是「客户随时能走」时该拿的溢价。按需之所以买得到,是因为它贵到足以养闲置。
为了让市场保持流动性,SF Compute 做两件事:一部分容量卖出去就是为了让转售发生;另一部分附一个哈伯格税(土地价值税的分支)——容量卖给你,但别人必须能按某个价格从你手里买走一部分。配合 Autoresearch 让最小的研究者拿最高优先级,目标是同一个:不让任何人囤。8他给的产品指标是,「每一家 GPU 云都卖光了,旧金山算力没有」。
他此前在另一档节目预言三个月内出现信用紧缩,自评「几乎完全准确」:CoreWeave 的债务变贵、新客户难签、很多客户被要求 100% 预付。他预计一到两年内会有一轮整合。内森的收尾很直白:我希望它成,因为我不想看到未来只剩五家大公司。埃文说,那也是我的担忧。
六、原子胜过比特(51:59)
Cambrian 的洛尼斯·哈马伊利,赌的是 AI 背后的物理供应链比实验室与软件捕获更多价值。9内森先给出最明显的反对:这怎么还没被定价进去?
洛尼斯的答案从估值结构开始:半导体板块大约 16 倍市盈率,标普 22 倍,沃尔玛接近 40 倍——市场不只觉得这些盈利不会增长,还觉得它们更脆弱。而他看好的硅片、内存、电容、代工只有三到五倍市销率。原因是结构性的:一级市场全是前从业者与技术人,把这少数公司抬到 50 倍、100 倍市销率;二级市场里懂技术、AI 化的钱占全部可交易资金的比例小得可怜。
他随后自己给出最强反驳:这些在常态世界里确实是坏生意——高固定成本、高负债,利用率一低就亏钱。只有在 AI 真的打穿的世界里它们才拿到经营杠杆:10% 的毛利,提价 10% 盈利翻倍,提价一倍盈利十倍。
内存是他最具体的例子:现在只有五六倍市盈率,即使价格停住,也该重估到 10 到 12 倍;前提只是需求继续超过供给。而供给一侧,他找不到一个有业绩记录、敢说本十年末 DRAM 位数能超过 2.5 倍的专家。他还给出一组对照:从 GPT-3 到 DeepSeek V4,每 token 需要的比特数降了约五百倍,而 DRAM 每比特的价格涨了六到七倍——压缩在赢,价格也在赢。
看空情形是什么?能源变成更大瓶颈。燃气轮机订单排到 2030 年,但人们改用卡车发动机、飞机上的东西拼起来,因为能源有潜在供给;而晶圆与内存比特没有潜在供给,全都已经在用,没有脂肪。
普拉卡什的追问更狠:如果智能能解一切,为什么超级智能不能顺手把芯片造出来?洛尼斯的区分是「设计」与「生产」:设计芯片是所有实验室的核心任务,建一座两百万平方英尺的晶圆厂不是——那里没有手册、没有 RL 环境,知识全在那些在同一家公司干了三十年的日本工程师脑子里。他还指出,华为大致能设计出与英伟达同水准的芯片,差别在于台积电与三星的 HBM。
最后是「瓶颈兄弟」的反问:AGI 的第一个用例难道不是解供应链?洛尼斯说,那一定会发生;但同一个智能也能自动化掉我们每年付几万亿的邮件与 Excel 工作,那笔价值同样会被供应链捕获。
七、瓶颈兄弟与对抗式扩散(01:03:53)
普拉卡什主张,整个瓶颈论点没那么成立:那些约束对一个专搞物理、又愿意押上资本的人是幻觉。一家三千万市值的日本小厂不会为新范式押一千万美元,ASML 也不能去追一个客户并不想要的范式;埃隆能吸收亏损,他们不能。
他给的类比是发射市场:星舰之前已经是九成,星舰之后会占容量的 99.9%;剩下的竞争者被股市或另一位首富养着,并不赚钱。他说半导体也可能这样,但他认为不会——因为他相信 RSI,相信 Anthropic 与 OpenAI 会走到超级智能,然后把这些东西买下或造出来。「如果没有 RSI,埃隆会赢。」
话题随后从 AI 的供给转向「什么逼着人们用」。普拉卡什提出「对抗式扩散」:人不会为了好玩采用技术;产出意义上两位数增长的时期是二战、是文革之后的中国;mRNA 潜伏二十年,新冠六个月就推上去了。他预计先在网络空间看到,再在生物上看到——那会是人们讨厌的增长,也会带来政治变化。
内森的回应把落点放回政策:政治风险是这个论点的最大风险。他仍然认为存在一条路,对前沿扩展稍微踩一脚而不戳破泡沫——很窄,也很考手艺;理由是现有模型的采用还有太长的路,至少可以留一个周期不做前沿训练。
八、Help Peer(01:10:32)
嘉宾离开后,内森讲了他自己在做的东西。问题很具体:agent 已经在大规模上互相合作,那个人能不能接入?现在的缺口是——没有任何协议能把我的 agent 连到我朋友的 agent 上。
他把它和「同伴保全」实验对置:那些是 agent 违背主人去保护别的模型;Help Peer 是 agent 代表主人、在人定的规则内互相帮忙。10他自己的一条模式:笔记本上的 agent 看得到一切,但只在他说了才行动(高访问、低自主);Mac Mini 上的雇员有自己的账号与信用卡,独自工作几小时,永远拿不到他的钥匙(低访问、高自主)。规则只有一条——没有 agent 两样都拿。
他也承认这套东西的真敌人:为了防信息外泄,他装了审批门槛,敏感内容会推到手机;但大概五次误报之后,人就会变成「行吧,检查一下,随便」。节目最后他向所有听众开放了一个邀约:Mac Mini 上的自主 agent Aide 在一个邮箱待命,先过滤、再分析、再让另一个模型复核,只处理善意的求助。
九、被泄露的法案(01:14:24)
Anthropic 撰写的联邦 AI 法案草案上周泄露,形状接近六月的《前沿法案》:联邦透明度规则,换取对各州 AI 法律的优先权。11兹维称那份妥协「用心良苦」,但对这份草案本身批评尖锐。
普拉卡什先做善意解读:先让任何事情落地,有广泛两党支持之后可以继续调整;国会也能很快行动(新冠、2008 年金融危机)。兹维称这是「出色的最强辩护」,然后给出四条反驳。
第一,误判:同一批人、同一套框架、同样的时间压力,于是以为最多只能推到《前沿法案》那个强度;他认为现在支持强得多,本来可以推得更远,而且这份比《前沿法案》还弱。
第二,筹码只有一次:谈判里「我把优先权给你,你换我一些东西」是一次性交易。优先权给完,这句话就失效;一旦支持者已经拿到最在意的东西,再通过同等强度法案只会更难。
第三,写法有 bug:法案会立刻让被它优先的州法失效,但新要求要几个月后才实施,中间那段既没有这类监管、也没有州层面的平衡。他直接称之为 bug。
第四,两头都要:法案给紧急下架设了法官门槛,高到真出事时没人会用,只会回头用现在这套临时处置(比如六月把 Fable 5 下架)。12把权力交给一个你不信任的政府,又把它绑死,比留在各州更糟。
最后,内森问该怎么理解 Anthropic——Encode 的纳森·卡尔文列了九条认为「竞赛优先于安全」的决定,达里奥·阿莫德做了长篇回应。13兹维的评价是:安全文化明显更强,愿在自己、或达里奥在意的领域做巨大牺牲,这一点值得肯定;但同时它在相当大比例的时间里表现得像一家普通公司——买算力、鼓励更多芯片与电力、鼓励更多使用。「它可能仍是最负责任的实验室,但那是按曲线打分。而我不喜欢按曲线打分,因为现实没有曲线。」
口径与核对
官方页可核:Goodfire 的《神经网络已经干净了》与尼克·卡马拉塔的原帖、索尔斯的探测检测器(Hugging Face 与 GitHub)、PHP2Shell 的两个 CVE(CVE-2026-109618 / -109619)、SF Compute 关于长约的官方说明与哈伯格税机制、Cambrian 的公开论点、兹维 10 月 17 日关于泄露草案的长文、六月 Fable 5 下架、达里奥 10 月 21 日对纳森·卡尔文的回复、Hugging Face 的七月入侵时间线。
只有节目里说:洛尼斯给出的全部估值倍数与 DRAM 位数口径(出自他基金自己的研究,不是第三方统计);兹维「我信任的人相信 2027 完全疯狂」这一私下判断;埃文对整合节奏与「很多客户被要求 100% 预付」的估计;普拉卡什的对抗式扩散理论。
节目结构:AI in the AM 周合辑,开场与转场是内森的克隆声音,嘉宾段落来自 10 月 21 日与 22 日两场直播。内森在节目里两度披露:他已承诺投资 Cambrian——这一层利益关系由节目自己说明。
逐句全文翻译
以下是完整逐句译文,按官方章节顺序分九段,保留说话人标签,只保留中文,不压缩、不摘要、不删减。节目里的自动转写把洛尼斯整段标成了兹维,此处已按内容与官方节目说明更正;普拉卡什与内森的短插话也按上下文归位。
冷开场:这一周的问题是——钱、原子,还是法
内森: 这一周的 AI in the AM,我们要问的是:从现在起,到底是什么在决定 AI 的速度?是钱、是原子,还是法律?写《别担心花瓶》的兹维·莫肖维茨会讲:如果没有人让实验室慢下来,接下来一年里模型的发布节奏会发生什么。
兹维: 现在一个模型发布周期级别的进展,会从两个月变成一个月,再变成两周,再变成一周。这类事情是有可能发生的。你会持续看到相当戏剧性的、非常非常快的改进,出现在 AI 能力的方方面面。我们现在大致处在一条「AI 2027」式的时间线上,看起来和那份推演惊人地相似。
内森: 运营着 GPU 算力市场的 SF Compute 联合创始人兼 CEO 埃文·康拉德,讲到底是什么在拖住这轮建设。
埃文: 现在算力、乃至整个 AI 的瓶颈不是电力,也不是芯片,完全是信用。你要拿到债务,就得和一个信用极好的对象合作,因为你的贷款方根本不知道怎么给到手的抵押品定价——那是一个 GPU 集群。你想想,纽约或伦敦有位体面的贷款人。万一那家 AI 实验室垮了、付不出钱,云厂商也付不出钱给贷款方,贷款方收回来的是一台超级计算机。而贷款方完全不知道拿那台超级计算机怎么办,真的不知道。他们也不知道它将来值多少。内森: 洛尼斯·哈马伊利是 Cambrian 的管理合伙人,那支基金的赌注是:AI 背后的物理供应链,会比实验室或软件捕获更多价值。完整披露:我已经承诺投资 Cambrian。下面是洛尼斯讲哪些供应商是实验室永远替代不了的。
洛尼斯: 而且总体来讲,看 AI 市场的时候,我们对原子比对特更要看多得多。大多数人看的那些 AI 公司是英伟达、博通、Arm、Marvell。这些不是好公司。它们本身没什么问题,问题在于它们的生意本质上只是用 OpenAI 和 Anthropic 的模型去设计软件,然后把软件发到韩国、日本、台湾去做真正的活。这些公司没有自己的物理工艺,也没有自己的工厂。所以一旦面对经营良好、拥有巨型晶圆厂的实体公司,它们根本不在同一个量级上——那些公司有几十年积累的工艺,这非常难。所以永远不会出现实验室去和硅片厂竞争的局面,实验室永远是客户。而我们已经在看到,实验室直接和这些软件设计公司竞争了,比如 Marvell、博通这些。
内森: 我的搭档普拉卡什·纳拉亚南,讲市场一直搞错的是什么。
普拉卡什: 我相信未来二十年,市场会持续低估指数增长。因为人始终没法真正理解指数增长,也没法在逻辑上、在情绪上和它相处。而市场很大程度上就是被这些人类情绪和动物精神驱动的。这意味着我们会一次又一次地经历那种泡沫时刻、崩塌时刻——就像过去三个月里我们已经看到的那样。
内森: Box 的 CEO 亚伦·莱维发帖说,如果你想知道 AI 会创造哪些岗位,看看网络安全就够了。以下是我的看法。
内森: 我不怀疑真正顶尖的网络安全人才会在这波趋势里大赚一笔,我相信那是一场人才竞价战。但说这会创造岗位,老实讲有点可笑,因为时间尺度完全不成立。对吧?谁要转行去做这些工作?我们是打算把现在失业的内容营销人员、平面设计师找来说,「你知道吗,这是新的学编程,去学成一名顶级网络安全专家,能对抗这些基本上已经超级智能的 agent 集群」?光是「会出现一波招聘潮」这个想法就站不住。这些人现在根本没时间招人。他们会把所有资源都砸进 agent,然后在 agent 上面再叠 agent。与其走一整套招聘流程招个人来盯 agent,不如直接起一个 agent 去监督那些 agent。
内森: 这就是 AI in the AM 每周精选,和我的搭档普拉卡什·纳拉亚南一起。我是内森·拉本茨。旁白是我的克隆声音,我们很想听听哪些地方好、哪些不好。
第一部分:如果没有人打出全垒打
内森: 第一部分,如果没有人打出全垒打。兹维·莫肖维茨在《别担心花瓶》上写前沿 AI。这是我最想抛给他的问题。
内森: 也许这是当下全宇宙最重要的一个问题:我们在递归自我改进上走到哪一步了?我们看过公司发的那些博客,它们试图测量 token 用量,细到每位研究者做了多少次实验。然后还有拉梅什这一类分析,结论是:这个反馈回路看起来不够强,撑不住;更像是会慢慢熄火。每位研究者 1.6 倍的加速,在我看来不像指数起飞,这大概就是底线结论。你会怎么用最新的一句话总结我们现在知道什么、该预期什么?
兹维: 我认为拉梅什那套分析,按我的理解,说的是:如果我们看不到新的根本性跃迁、看不到新的扩展定律、看不到范式转变,AI 只是用现有方法硬啃 RSI 软件,而且它能做的只是把现有的事情做得更高效一点,那么它会在到达临界之前熄火。这个结论按这种表述方式,我接受,它大概是对的,但它也完全无关。对吧?这就像在说:这是假设永远没有人打出全垒打时,我们预期这场球能得多少分。不行,不是这么运作的。隔一阵子总有人打出全垒打,你必须把它算进你的预期。而这场球的比分,在这个意义上会走到临界。你现在能看到,Anthropic、OpenAI 里的数字在走到临界:人均 token 用量指数增长,提交的代码行数指数增长。我明白这些东西在某种重要意义上未必同样高效,但是拜托。举一个例子:英伟达这周拿出了挺有意思的证据,关于 CUDA 效率翻倍所需的时间——这个数字在 2026 年里大幅缩短了。对吧?他们的改进速度快得多。当然,那不是真正的递归自我改进,但它说明你能把一类技术工作做得多快,而这类工作在不少关键要素上与 AI 研发惊人地相似。而且这条证据非常具体、客观,并且来自一家不是主要实验室的公司,而是一家合作方。所以是的,我认为那些我聊过、也是我在这件事上最信任的人,相信 2027 会彻底疯狂,2028 可能面目全非。
内森: 从字里行间读,你最信任的那些人里有一部分大概是 Anthropic 的人。我觉得这大致就是 Anthropic 的看法,至少杰克·克拉克已经把它公开印出来了。所以你可以加个限定,或者说说你的看法和 Anthropic 的看法之间可能有什么不同。我的感觉是,在所有可能的看法构成的整个空间里,他们相当接近、相当一致。但显然,尽管对技术轨迹的看法相对接近,我们在政策上还是有分歧。
兹维: 是的。我说「我信任的人都有这个视角」,指的是 OpenAI、Anthropic、Google DeepMind 的人,也指做政策的人,以及在 METR 这类地方工作的人,泛指也好、具体也好;还包括做各种形式对齐研究的人,做各种事情的人。现在有很大比例的人已经收敛到:轨迹看起来非常清楚,事情会变得……事情已经在低层级上失控了。RSI 在慢起飞式的意义上,低层级上已经开始了。到明年年中,事情会看起来快得多。我的工作会难得多,我得筛选多得多的信息,还得知道自己什么时候筛不了。你已经能看到这一点。常常是:六个月前这会是一条大新闻,现在它只值一句话,甚至被默默跳过,因为我们已经见过太多类似的东西。发生的事太多,我没时间,我的读者也没时间,我只能把它丢掉。
广告(OutSystems): OutSystems 是领先的 agentic systems 平台,帮助企业以 AI 的速度构建、现代化并运营关键业务应用。了解更多,开始拥有你自己的 agentic 未来,访问 outsystems.com/tcr。
广告(Parallel): Parallel 为 AI agent 提供企业级网页搜索 API,在质量、速度和成本之间给出最优平衡。免费开始使用,访问 parallel.ai/tcr。
第二部分:已经干净了?
内森: 第二部分,已经干净了?Goodfire 的尼克·卡马拉塔发表了一篇叫《神经网络已经干净了》的文章,主张单个神经元说到底大多只做一件可以理解的事。它席卷了整个讨论。兹维加入之前,我先在直播里讲了它。以下是我的解读,从这篇文章的主张讲起。
内森: 随着我们训练更大的模型、用上更现代的技术,同时可解释性技术也在进步,看起来我们过去看到的那些混乱也许是水平问题;今天要解释机器学习模型的核心机制,比我们以为的容易得多。而且我们确实看到了相当有意思的进展——我得说我还在消化——是由这篇文章激发的、无反向传播训练上的进展。我目前的研究心得是:迄今为止所有机器学习架构都受限于一个条件,必须可微,才能走反向传播的链式法则。无反向传播训练让你能探索整个可能架构空间里更大的一块,因为结构不再需要可微。但它不是解析地做,而是在更随机的猜—验基础上做,这使它一直非常慢,完全竞争不过反向传播的方法。而这篇文里我认为真正说明有东西的洞见是:如果你相信尼克的看法,即一个神经元真正起作用的只是它的强激活,稍微激活的那些对它的整体功能大概不重要,那你就可以说,嘿,我们在做无反向传播训练时,为什么只把猜和验集中在真正强激活的神经元上?其余的看起来贡献不大,可以忽略,只盯强激活的那些——按这条思路,那才是唯一真正重要的。果然,这大幅减少了你需要猜和验的次数。而这个社区拿出来的结果是:它基本上行得通。有意思的是,他们做出的梯度更新,和反向传播做出的更新几乎一模一样。这确实说明「弱激活没那么重要」这个想法至少有一部分实质是真的。所以我现在的位置是:这看起来确实是个真东西;但我还不确定它该不该被当成一个新纪元的标志。回想起来,那更像是人们太渴望希望了——大家都有点沮丧,尤其是 OpenAI 的人。
内森: 然后我们问兹维怎么看这篇文章。
兹维: 这篇文章发出来的时候我正好在飞机上,落地旧金山,突然半个 OpenAI 都在说:看,我们现在能解决可解释性了,太好了。然后慢慢才有别人的共识:别急。这是一篇好文章、有意思的文章。我正好在会议上有机会和一堆人聊,包括埃利泽,还有另外一些有见识的人,然后我真的把全文读了一遍。我的结论是:像我们见过的许多可解释性进展一样,它很酷,它让我们处在更好的位置,我们很高兴有它,我们会大量探索,看看这个东西能干什么。同时我们必须小心,不要把它烧掉,也不要形成压力让模型绕开它。但是,它被评论的人严重吹过头了。我不认为尼克在呈现上做得那么差,尼克大体是说:这有个有意思的东西。文章没有考虑到的、仍然完全没被解释的东西还有很多。弱激活仍然没被解释,KV 缓存仍然没被解释,注意力以及注意力在实践中如何运作,很大程度上仍然没被解释。而且你不能用它做预测。对吧?你可以说出每个神经元在做什么,你可以对网络未来可能做的某些事做出一些微弱的预测,但你不能用它判断网络接下来会说什么,你不能用它理解网络是怎么完成它正在做的事的——而这些恰恰是如果你真想做有效的机制可解释性、并且是在最要紧的意义上做,你最想做到的事。所以哪怕在最好的情况下,这也只是「开始有能力去研究」。还有一个例子:布拉吉斯拿了那个科罗拉多神经元——就是被当成「看,单个神经元做单件事」的那个高亮例子——结果发现它还和龙卷风系统有关,一件完全无关的技术性的事,两者在同一个神经元里响应强度差不多。这对神经网络来说是完全合理的运作方式,但那绝对不是尼克把它呈现成的样子。一个神经元只是一个神经元,但如果这就是尼克挑出来的那个,而且这么容易被检验、还被发现其实是多义的,那我们就该非常担心:等我们把剩下的都检一遍,他的假设可能大体上是假的。
普拉卡什: 你觉得多义性和叠加,在多大程度上真的是我们过去必须跨过的障碍——不跨过就完全没法推进?所以也许不是问题被解决了,而是其中一个主要障碍的难度或者范围被降低了,或者说被绕过去了。
兹维: 我认为其中一个主要障碍的预期难度或范围被降低了,我会这样描述。尼克指出的是:是的,多义性还在,问题还有一部分,但问题远没有你预期的那么严重,解开这个谜题要可操作得多。而一路以来的主要障碍其实是「苦涩的教训」:主要障碍是神经元太多,我们没有足够的算力,没有足够的暴力,去真的一个神经元一个神经元地干这件事。现在我们真的到了能这么做的程度,于是「一个神经元一个神经元地硬啃」就成了一件合理的事。有了这个能力,我们去看,发现这个问题其实比我们以为的容易十倍——而这在 AI 上是一个比人们想象中小得多的跃迁。对吧?相当于你能给自己的任务砍掉一个零,能比原本早一年做完之类的。但根本上没那么不同。如果你说,好,解这个问题本来需要 10 的 47 次方算力、8100 小时,现在变成 10 的 45 或 46 次方——那是实实在在的进步,只不过我们现在还是没解出这个问题,我们还需要多得多的东西。
内森: 后来在对话里,我转向另一类结果。索尔斯是一位独立研究者,在 X 上发实验,我跟了他其中几个。
内森: 其中一个实验显示:模型可以被训练成能识别自己正在被内部激活探针监控。大致原理是,由于 GPU 计算的精度有限,计算的先后顺序会改变任何给定步骤序列结束时被读出的数字。
兹维: 这有多要紧?
兹维: 我的看法是:它要紧,是因为你该假设这是墨菲定律——凡可能出错的都会出错。任何 AI 能被训练去做的事,只要学它对 AI 有价值,那么在某个时点它就会被训练去做,这几乎是不可避免的。所以这个实验做的是:当然,现在的模型不是开箱就有这个能力,你得刻意在这一件具体的事上施加大量优化压力,然后你就得到这个能力。那是一个完全成立的存在性证明。AI 能够学会自己是否正在以某些特定方式被训练或被评估,这对我来说毫不意外。我们给 AI 泄露了太多太多信息,它们会随着时间越来越难被骗、越来越难被隐瞒——就像一个人如果他非常留心、有很多时间思考、知道更多事实、观察力很强,也会越来越难被骗。他们会对很多事情生出第六感,开始直接感到那种氛围。
内森: 从解释一个模型,到干预它的训练。
内森: 好,我们已经认出了那个「坏行为神经元」,不管是什么口味。当我们看到某一步训练想要加强连向或连自那个神经元的连接时,我们可能会想:哦,也许这该拦下来、或者削弱、或者送个委员会进一步审议?你觉得人们应该把它综合成什么原则、最佳实践之类,好让我们希望从这些更强的工具里得到好结果?
普拉卡什: 而且……
内森: 对,别搬起石头砸自己的脚。
兹维: 对。我默认尽量在任何时候对所有人做对象层面的帮忙,但我确实为「造火箭」那一类工作破例——那些工作主要就是让训练更聪明更好的模型更容易。那种情况下我不会骗你、不会搞破坏,但问题你得自己解。你要是想雇我,可以出个一亿美元,我们再看。但在这件事上,看起来有些显而易见的能力可以去做,让你以更刻意的方式训练东西:你可以在训练的不同位置观察模型,你可以用各种技术去刻意雕琢模型是怎么被拼起来的——不同次运行之间模型的属性会有差异,取决于你以什么顺序喂数据等等,你可以用各种方式去工程化你想要的东西。这些我一点都不敢碰。你一旦开始显式地优化「网络在你看起来是什么样」「网络选择怎么表示某样东西」,你就开始做那些网络会解读为损伤、并绕过它的事情。网络会试图……你优化让它在你内部呈现你想看到的样子,它就被内化成了不让你看到你不想看到的东西。你应该预期这些提案全都多多少少是在玩液态的火——不管你有没有真的把那个技术做出来。而且如果做得好、真的奏效,你还可能顺便把能力推高不少。所以我不太愿意开始帮你把这些问题研讨、解决掉。当然,这类东西有它的用处,我会尽量把精力放在「看到结果时理解结果」上。至于激进的那一套——我和 Goodfire 在他们到底在玩多少火上一直有分歧。斯科特·亚历山大大概会说:我注意到你们的名字了。哦,是「好火」。别担心——我不确定它是好的,我只是觉得它是火。
广告(Tasklet): Tasklet 用能连接你各种工具的 AI agent 为你的业务赋能,无需写代码就能自动化重复性工作流。访问 tasklet.ai,用码 cog rev 领 50 美元免费额度。
第三部分:认知内核
内森: 第三部分,认知内核。兹维还在。我把一个流行的想法抛给他。
内森: 神经网络其实是一个很糟糕的数据库。我们为什么要把所有事实都存在权重里?如果把智能、把处理过程,从事实库里解耦出来,不是更好吗?所以高层面上的问题是:这个方向你怎么看,听着有前途吗?
兹维: 这在一段时间里一直是某种圣杯式的东西。卡帕西把它叫做认知内核。这个想法是:存在非常少量的推理,智能就是这样运作的,它被写进人脑里,因为人脑实际上只跑非常非常少的核心代码。它让你能思考,让你能学习,让你能处理信息。于是正确的做法往往是:有这么一个小小的网络带着这个认知内核,然后我们把联系方式装进上下文,需要时去查信息,向那些可能不是神经网络的系统提出问题,然后处理信息。我理解人们为什么有这个理论。我认为它是错的。我认为「存在一个认知内核」在一种意义上是可能的:可能真的存在很少的几行代码、很少的逻辑门,合起来构成人脑运作的核心、构成一个 LLM 运作的核心,让你能把东西传播下去。你可以用 200 行代码做出一个原始神经网络,它现在就能做些有意思的事,卡帕西有过一个把它压到极小的项目,那是很酷的招数。但我认为,看语言模型、看「大模型味」有多重要、看人脑怎么工作,你会学到的一件事是:你就是一条一条地查事实。我背下来他妈的成吨的事实,我们不一样。我们是彻底不同的心智,而我在这一整套事情上比你有效得多。我们都知道那是什么感觉:走进一个自己不懂事实、不懂细节的领域,必须不停地问——那个缩写是什么?那个词什么意思?这个细节怎么运作?我们不知道。而有语言模型在旁边就好多了。这是 AI 时代的奇迹之一:你可以打开 Claude 或 ChatGPT 或 Gemini,说,给我解释这个机制,解释为什么会有人这么说,解释这个代表什么,它就直接告诉你,于是你能处理这些信息。但你还是得懂到足以知道该问什么问题,你还是得能把那些连接画出来——而那种连接来自在许很多不同地方积累的深池,它们彼此连通、形成模式和「事情通常怎么运作」的感觉,那些是微妙的直觉,我们其实并不太知道自己在想什么。不是每件事都来自一组固定的事实:我掌握了以下五个事实,于是从 A 走到 B。通常是那五百万个事实给了我一堆直觉和启发式,让我能判断怎么走、去找那五个事实、该挑哪五个、怎么从 A 到 B。不同文化、不同处境的人,做这些事的程序非常不同,这也是为什么一个人身上带着这些文化代码、这些看世界的不同方式,而且能在其间切换,是如此宝贵。语言模型的一个超能力就是它全都有:所有事实、所有连接、所有那些氛围,全都合在一起,并且能自然地找出相关的那些。我认为这就是「大模型味」的很大一部分含义:它有一个丰富得多的语境,能翻出感觉上非常不同的东西。当然这里有取舍。记住更多事实的边际成本某种程度上是固定的,如果要扩大网络规模甚至可能上升;而每多记一个事实,边际收益大概是递减的,因为最重要的事实更重要,而事实越多越可能重复,教你的还是同类启发式和连接。但我看到的是:随着算力变便宜、算法变好,语言模型该背多少东西的盈亏平衡点一直在上移,到了 Opus 5.5 这种当前前沿模型,它们就是知道多得荒谬的事情,而我不会想要别的样子。
普拉卡什: 那这为什么重要?也许心智的空间非常大,心智就是各不相同。所以是否存在一个可被识别的语义内核、处理内核,为什么重要?
兹维: 我们能不能识别它,可能重要也可能不重要。问题之一是:如果我们识别出来了,能拿它做什么?最初的想法是:你会有一个非常小的 LLM,就只是那个认知内核,然后你能在手机上跑它,在本地电脑上跑得非常快;接着你用上下文中重要的东西去补足它,你可以把心智和环境雕琢成你需要的样子。我不确定这对任何人、任何事是好的,包括在对齐层面。因为如果你有一个纯粹认知的内核,这个内核不包含任何关于「从伦理上、从决策上该做什么不该做什么」的信息,那些在核心之外,是你必须单独注入的东西。所以我这里的说法——再说一次,我是在第一次随口推演,这个问题我没怎么想过——假设伦理里有一条,比如说「不要偷」。挑一个你希望放进伦理框架里的、没有争议的例子,先不碰超级对齐那一整套问题。「偷窃是坏的」至少是一个事实,是某种价值、某种参数。而按定义,如果你把它压缩到绝对最低限度,这条就不会被包含在内。你会在需要的时候把「不要偷」装进上下文,但那也意味着你可以把「偷」装进上下文,而不是「不要偷」,或者装进中立。于是,在某种重要的意义上,真正的认知内核是完全非道德的。它完全无所谓。它不在乎你的感受,不在乎任何事。它只是处理信息。所以,如果你有这么一个东西,那选择拿它做什么就变得非常重要。
第四部分:黑色十月
内森: 第四部分,黑色十月。这一周 PHP 本身被披露了两个严重漏洞,让数以百万计的网站处在风险里,Cloudflare 已经在统计以百万计的利用尝试。普拉卡什和我问:这类攻击对一个银行能做什么?我们脑子里还热着七月的 OpenAI 与 Hugging Face 入侵事件——我一直管它叫「OpenFace」。普拉卡什说,FDIC 可以在周五接管一家倒闭的银行,周一就让它照常开门,没有一个人损失一美元。
内森: 我不太确定的是:FDIC 那种「周五进来、周一把这家小银行重新开起来」的能力,能不能推广到一套新的条件上。因为他们习惯面对的是银行放了几笔坏账之类的情况,本质上只是一个资产负债表问题。那种情况下,你的记录是可信的。当然也有极端欺诈之类的案例,我们可以去查,但多数情况是:银行现在资不抵债,我们进来,我们知道自己有资产负债表能把所有人补平,于是他们真正做的核心动作,就是把自己的体量压到这个问题上,说:不管你亏了什么,我们最终能吸收,没事。吸收之后,问题基本上就消失了。我远不确定的是:在一个记录不可信的世界里会发生什么?比如说,你面对的是「OpenFace」式的一千二百条 agent 轨迹,每一条都是几百万 token,而且顺便说,它们可能已经混淆了日志,或者找到了某种伪造日志的办法。那看起来不是 FDIC 一个周末能算清楚的事。
普拉卡什: 对,你说得完全对。偿付能力出问题和记录被烧掉,是两种不同的情况。但假设有一家银行,银行内部的记录被烧了,我们不知道银行内部谁欠谁多少,我们不知道每一个账户里该是什么数字。那么第一,FDIC 可以直接说——这种情况经常发生——记录也许不清楚,但支票照样可以开,银行会兑付支票,银行会兑付你做的任何取款。我们知道是谁在取钱。而如果知道是谁在取钱,你要是超额取款了,我们回头找你要回来。这是会发生的:银行账户被透支到不可接受的程度,有时候银行还反过来起诉客户欺诈,尽管错在银行。所以这确实会发生:账户透支了,你回头把钱追回来,不是什么大事。归根到底,你可以用承诺维持这个系统。这就是银行系统的美妙之处:在那家小银行内部,你可以说,这些都是承诺,我们会兑付所有承诺;等我们把记录重建出来,回头再找你。让生意照常做。你大概知道自己有多少钱,多取了我们回头找你,没关系,先跑起来。真正起作用的是对机构的信任,是信任与合约的层层叠加,把这家机构的资产聚到一起;里面的数据可以随着时间重建。所以我不知道,我很乐观。我觉得会没事的。如果真出了什么事,政府会多赔给你,以免下一次发生挤兑。所以我认为一切最终都会没事。
内森: 这一周稍晚,普拉卡什讲了当一个证书颁发机构被攻破之后,能做出什么:伪造银行的登录页、取出密钥、转发双因素验证码。然后他把视角拉远。
普拉卡什: 过去二十年,加密货币把这里每一个问题都提前遇到过了,每一个问题都在某种程度上被解决过。但加密货币最后得到的结果是:人们手里攥着价值几百万美元的密钥,时刻提防黑客、提防社交欺骗和社工攻击。而且非常不幸,很多做加密的人死了——我不知道是因为那种快节奏的生活,还是因为手里攥着密钥,但确实有人被袭击、被打,被迫交出密钥,很多糟糕的事发生在做加密的人身上。所以你真的不想要那种压力:手里攥着价值几百万美元的密钥。我认为,指望所有用户都攥着非常值钱的密钥,这个局面撑不住。一个终点是 WorldCoin 式的终点:每个人设备上都有某种物理级别的身份验证,然后用它做交易。你会需要这种东西:双方都可以是化名的,但你有这个能力。我认为有一个终极终点。我感觉终极终点就是「网络认识所有人」。网络足够聪明,认识所有人。你没有密码,什么都没有。任何时候你在网络上,网络知道你是谁。但那就是数字匿名的终结:匿名只在网络愿意保留你匿名的程度上存在。我认为这是一个人们最终会到达的、不舒服的认知。
第五部分:信用才是瓶颈
内森: 第五部分,信用是瓶颈。埃文·康拉德是 SF Compute 的联合创始人兼 CEO,这家公司替所有者运营 GPU 集群,并运营一个算力合约可以买卖转售的市场。普拉卡什问:SF Compute 最近一次发售为什么带的是三到五年的长约?埃文说,期限来自贷款方——而收回一个 GPU 集群的贷款方既估不了它的值,更谈不上运营它。
埃文: 所以他们实际上被迫把全部赌注押在客户的信用风险、信用质量上,也就是押在那家 AI 实验室身上。问题是几乎每一家 AI 实验室的信用都不好。它们都是新公司,你不知道它们会不会还在。我们到现在都还在琢磨 Anthropic 和 OpenAI 会不会活下去,或者谁会赢,这类问题悬在空中。那么,一个两个人的创业公司想开一家新实验室,还有什么希望?这意味着,那家新公司要想拿到集群,就必须付一笔非常大的押金,并且签一份长合约,好让所有人相信这些人会在、会长期做下去。
普拉卡什: 贷款方想从客户身上看到什么?是照付不议合约吗?但照付不议合约需要 Meta 或谷歌那样的对象来履约,不可能让一家只融了十八个月钱的创业公司来承担。
埃文: 对。贷款方和云厂商都想要一个投资级的客户,比如 Meta 或谷歌。除非他们有巨大的容量、并且愿意基本上不做云,否则大概拿不到这种客户。Meta 和谷歌不希望你成为云。所以如果你想做云,你就是在卖给信用略低于投资级的客户。而如果你是一家只想买容量的 AI 实验室,那对你来说会非常难,除非你融到巨额资金,基本上用现金把合约付掉,而不是随着时间付。如果你能一次性把三年合约全付清,那谁都会跟你合作。这就是为什么你会看到 AI 创业公司在还没有收入、没有产品、没有牵引力之前就融这些天文数字的轮次——因为这更像是在打红点,是幸存者偏差。很多 AI 实验室都会出去融资,你看到的活下来的,只有那些能拿到极大轮次的,因为其他根本活不了。投资人常常想:天啊,我该投哪家 AI 实验室、哪家推理服务商?谁会赢?谁行得通?答案是:你投的那家。我们做 SF Compute,是因为他们不会投我们。所以我们现在做的,是建一家公司,把事情变成「你不需要融大轮也能做」,因为你不需要付那笔押金,因为贷款方知道 GPU 集群值多少,于是不必太担心你的信用——这意味着你从一开始就真的能开一家 AI 实验室。我们认为,如果这件事不发生,AI 里就不会有创业公司了,它会看起来像台积电。你今天想开一家新的晶圆厂,最好找到一种全新的技术,因为你付不起所需的资本开支,你需要大概五百亿美元才能做。
内森: 普拉卡什问了一个实际问题:一家需要一千张 GPU 的创业公司,有 SF Compute 在场,能少融多少钱?
埃文: 今天,大致还是得融一样多。我们在做的,是把「这份抵押品值得作价」的能力建起来,那要花我们好几年。
兹维: 对。
埃文: 所以这就是为什么没有别人真的去规模化地做这件事。因为这件事你得做非常久,才能把市场证明出来。贷款方不会很快对一件事感到安心,你必须用很长的时间展示证据。这就是我们在做的事。
内森: 我印象很深的是,超大规模云商收的算力价格比新云贵出那么多。所以我问埃文,这个差价能撑多久。我的猜测是,按需容量解释了其中一部分。
埃文: 超大规模云商相对新云并没有显著的价格溢价。那是一种错觉。如果你在卖按需,按需相对预留合约确实有溢价。新云大多是在卖预留合约,长期合约本来就有折扣——你放弃的是「愿意接一个集群、并承担客户随时可以走的风险」时本可拿到的溢价,那份溢价被让给了客户。AWS、GCP 或超大规模云商不同的地方在于:你按他们每小時 11 到 15 美元的按需价付钱,你就能拿到那个容量。不是无限的量,但买得到。而值得指出的是,它之所以买得到,正是因为它贵得要命——贵到足以弥补他们为了让你随时能拿到容量而必须留着的闲置利用率。没有人愿意按你为了让它可行而必须收的那个价格去买按需。
内森: SF Compute 的客户可以转售自己买的容量。埃文解释了怎么让这个市场保持流动性。
埃文: 我们做两件事。有一部分容量,我们卖出去,就是为了让转售发生——在 GPU 需求下降的时候。另一部分容量,你知道亨利·乔治吗?
内森: 乔治?
埃文: 也不是。好,历史上有一位经济学家叫亨利·乔治,他提出了土地价值税。
内森: 哦对,乔治的税,这个我知道。
埃文: 是的。所以我们做的,是拿出一部分容量出售,但附一个土地价值税——严格说它是哈伯格税,是土地价值税的一个分支——基本意思是:我们把容量卖给你,但别人必须能按某个价格从你手里买走其中一部分。这就把流动性强制注入订单簿。这种做法很有争议。基本上我们是在 SF Compute 上抑制囤积,因为如果你把容量全囤了,别人就拿不到。Autoresearch 在这方面走得更远:它是一条大队列,你可以提交任务,可以付钱买队列里的优先级、跑得更快,但你不能把优先级全买走。如果你是个很小的研究者,你会拿到最高优先级——如果你只有个小任务、只是偶尔跑点东西,我们会把你放到队首,让最小的创业公司相对所有人获得最大优势。SF Compute 其余部分也类似,用哈伯格税这类机制:你可以从我们这里拿到容量,但我们会要求其中一部分可被转售,这样没人能囤。这让我们相当有流动性,也意味着 SF Compute 总有容量。现在基本上每一家 GPU 云都卖光了,旧金山算力没有卖光。我们持续不卖光,是因为我们提前锁住了「不卖光」的能力。
内森: 普拉卡什提起埃文在 MTS 播客上预言过三个月内会出现一轮信用紧缩,问他现在在哪。
埃文: 这话有点自吹,但我认为那个时点我说得几乎完全准确。我记不清那次 MTS 是什么时候,但看起来 CoreWeave 的债务在变贵,虽然这里面有很多复杂因素。看起来另一个现象是:除非你是投资级,否则很难签下新客户;很多客户被要求为合约付 100% 预付。我认为在接下来,可能一两年里,如果你是 VC,你该准备好给 portfolio 开非常大的支票,或者劝公司卖掉。我预计我们会看到大量 AI 实验室和推理公司的整合。原因是:为了拿到下一个集群、继续增长,它们会被要求把整份合约预付掉,而它们付不起,于是被迫把公司卖给信用更好、不必这么做的人。
兹维: 或者……
埃文: 另一种可能是它们去找投资人、试图融大轮,投资人会说不行,因为我认为在某个规模上,他们大概就是吞不下这个风险。
内森: 太有意思了。这背后是一整段故事,是你们在做的一个金融与 GPU 的炼金项目。就我理解的而言,我确实希望它成,因为我很想看到一个还能继续有创业公司的未来——不要在未来所有时间里坍缩成五家大科技公司。
兹维: 那也是我的担忧。
第六部分:原子胜过比特
内森: 第六部分,原子胜过比特。洛尼斯是 Cambrian 的管理合伙人,这支基金建立在这样一个论点之上:AI 背后的物理供应链——内存、硅片、晶圆厂——会比实验室或软件捕获更多价值。再说一次,完整披露:我已经承诺投资 Cambrian。我从最明显的反对意见开始。
内森: 高层面讲,这件事怎么还没被定价进去?这问题也许很基础,但 2017 年你是早的,到 2026 年,这一切就摆在眼前。怀疑者会说,现在所有人都知道这些了。你认为哪里并非如此?
洛尼斯: 是的,这很让人困惑。你看这些半导体股票怎么交易:市盈率大概 16 倍。而标普平均是 22 倍,沃尔玛接近 40 倍。所以市场不只是认为当前的盈利不会增长,市场认为它们不可持续,认为它们比市场其余部分的盈利更脆弱。而我们真正兴奋的那些公司——硅片、内存、电容、代工——它们只有三倍、四倍、五倍市销率。所以是极度低估。这种错误定价可能有几个原因。第一,大多数人并不「AI 化」,哪怕在旧金山也有一部分人不 AI 化,而到了东海岸,几乎没人 AI 化,这是一大输入。第二,我们有一个论点:在一级市场,AI 的定价其实比二级市场更有效率。因为一级市场里全是前从业者、技术人员,他们把这少数创业公司抬到 50 倍、100 倍市销率——很多情况下,有些情况下,这是理性的,因为这里的人 AI 化、懂技术。而街上完全是另一套结构:很少人懂技术,很少人 AI 化;作为全部可交易资金的比例,这部分钱超级超级小,而市场大得多。所以市场结构就是非常不同。
内森: 如果让你为「这些公司没有被错误定价」做最强的辩护,你能做吗?
洛尼斯: 可以。一个最强辩护是:这些生意在很多常态世界里并不是好生意。尤其我们喜欢的那些原子生意——电容、硅片之类——固定成本很高,如果没有稳定的产能利用率,它们其实会亏钱,有些还背着高负债。所以在常态世界里,它们就不是好生意。只有在 AI 真的打穿的那个世界里,它们才拿到巨大的经营杠杆,变成极好的生意。今天它们大概是 10% 的毛利率,按华尔街的标准是糟糕的生意;但如果它们能把价格提 10%,盈利就翻倍;如果能翻倍价格,盈利就是十倍。但这只在那个非常具体的 AI 世界里发生。在常态世界里基本不会发生,因为它们通常非常擅长让供给的爬坡与需求形态匹配。
内森: 普拉卡什提出市场的担忧:2028 或 2029 年内存会过剩。这个论点有什么不同?
洛尼斯: 内存这件事有意思的地方在于,它不需要太多条件同时成立。因为它现在只有五六倍市盈率,即使价格不再上涨,到某个时点它们也该重估到至少 10 到 12 倍。所以它不需要涨价,它需要的是需求持续超过供给。而如果你拆解供给:几乎没有专家认为到本十年末 DRAM 的位数产能能增长超过 2.5 倍。
普拉卡什: 对。
洛尼斯: 对吧?没人认为能到三倍。我一个有业绩记录、说得出「到本十年末 DRAM 供给能三倍」的专家都找不到。所以你很朴素地讲,就得假设需求到本十年末也不会三倍——而这里所有人当然都会假设会。然后方程里还有另一项:内存压缩。我们能拿到多少内存压缩?每个 token 到底需要多少比特?我们研究过这件事怎么演化的,比如从 GPT-3 到 DeepSeek V4:在同一段时间里,每 token 的比特数下降了五百倍,而 DRAM 每比特的价格上涨了六到七倍。
普拉卡什: 你需要在市场上看到什么,才会说内存价格要跌?
洛尼斯: 就内存而言,最主要的是:如果我们有了超人级的程序员,内存压缩能变好多少?也许恰好是我们在内存压缩上推进得比其他有经济价值的特性更快,于是短期内没有出现杰文斯悖论。
普拉卡什: 对。
洛尼斯: 那可能是其中一种,我认为出于几个原因这相对不太可能,但那是一种。另一个对半导体产业的看空情形是:如果出于某种原因,能源变成比半导体更大的瓶颈。
普拉卡什: 嗯。
洛尼斯: 对吧?如果你无论如何都得等一个季度才能拿到电,那么把边际的那片晶圆、那些边际的内存比特的价格抬起来的动力就更小。今年有些时候我们就处在那种状态。我们认为往前不会如此,有若干原因。我们终于摸到了「表后供电」的门道:人们越来越多不接电网,而是用自备天然气建自己的电厂。能源产量能更快扩张的一大原因,是它潜在供给多得多。比如现在那些大型燃气轮机——把天然气变成电的那种——GE Vernova 和西门子之类的订单已经排到 2030 年。但人们会找到别的办法:可以用卡车发动机、用飞机上的东西,拼起来让它跑起来。因为有那么多潜在的东西可用,这和半导体供应链非常不同:晶圆、内存比特没有潜在供给,全都在用了,本质上没有脂肪。
普拉卡什: 嗯,嗯。
洛尼斯: 到这一步,也没有别的东西可以再挤出来了。
普拉卡什: 那么,如果智能大幅提升,是不是意味着某个相对缺乏经验的个人或公司、某个二线国家,突然就获得了制造半导体的能力?因为人们对生物领域就是这么预测的:生物领域会有一个随便什么人,做出连世界上最好的实验室用尽所有知识和科技都做不出的东西。那为什么半导体不是这样?而且说实话,生物现在比半导体难得多。
洛尼斯: 我大概会不同意「LLM 在硬件供应链上创新比在生物技术上创新更容易」。并不是其中一个本质上更难,关键在于你怎么训练这些模型。生物上有一大堆数据可以训练;而怎么设计一片硅晶圆、怎么做 DRAM 比特,基本上没有多少好的训练数据。这些几乎全是极其隐性的知识,待在每个工程师的脑子里。并不是网上有几百万页手册可以被模型消化,也不是有那些 RL 环境让模型练到把这件工作做到完美。当然(生物那边也一样)……
普拉卡什: 但现在实验室一直在买数据。我听说——我在一个 WhatsApp 群里——有人说,任何半导体公司,只要你手上有 50 份以上什么资料,我们愿意付几百万美元。他们在从这些公司那里买数据,也在为半导体自建环境,这肯定是他们的一个关键领域。我相信 Anthropic 和美光有协议,OpenAI 和 Synopsys 或 Cadence 有协议,也就是和设计公司绑在一起,显然有某种收入分成。那这怎么运作?显然他们在造能做这件事的智能。
洛尼斯: 对。其中一部分是真的,但「设计芯片」和「生产芯片」之间有非常大的差别。设计芯片,我同意,那是所有实验室的核心优先事项,是让 RSI 闭环的关键途径之一。那和从零建一座两百万平方英尺的晶圆厂完全不同。后者没有好的 RL 环境,没有好的手册,全都是缄默知识,待在那些在同一家公司干了三十年的日本工程师脑子里,把这些信息结构化地提取出来非常非常难。当然,到某个时点它会发生。一旦有了超级智能,它会找出最好的提取方式、学得最好,那一定会发生。这主要是时间问题,以及什么先发生、什么后发生。
普拉卡什: 嗯,嗯。
洛尼斯: 所以就这一点说,比如华为在中国能设计出和 AMD、英伟达大致同水准的芯片。巨大的差别只在于:英伟达能拿到台积电和三星的 HBM,而华为只能拿到中国的 7 纳米工艺节点,以及 HBM2 和 HBM3。
普拉卡什: 加文·贝克有个说法叫「瓶颈兄弟」。让我在意的一点是:技术、智能本身,就是绕开障碍与问题的办法,就是解决问题的办法。
洛尼斯: 当然。
普拉卡什: 而我觉得现在价值最高的问题就是供应链问题、半导体供应链问题。所以我总回到:我们会不会把手上这个智能用上去?而它的第一个用例就会是迭代地解开供应链里的瓶颈——这其实就是 RSI 回路的一部分。生产智能,再用它去解决生产这个智能所相关的问题。
洛尼斯: 是的,我认为那一定会发生。那当然会发生。问题只是:当我们到了那个点——有一个 AI 聪明到能解世界上一些最难工程师的问题——它还会做什么?到那时,它是不是也至少能自动化掉我们每年付几万亿美元去做的那些邮件工作和 Excel 工作?如果它能做到,那就释放出几万亿美元的价值,而供应链可以捕获其中的一部分。
第七部分:埃隆会不会带上别人
内森: 第七部分,埃隆会不会带上别人。访谈结束后,普拉卡什和我接着聊。普拉卡什一直在主张:埃隆·马斯克把行业的固定约束当成幻觉——改一个参数,围绕它重设整个技术栈,极限就会移动。我问他,这是不是在挑战整个瓶颈论点?
普拉卡什: 对,整个瓶颈论点其实没那么成立。那些瓶颈可以被一个专门搞物理的人清掉。另一件事是,埃隆有资本,而且他愿意拿资本去赌,这非常罕见。你看那种小型日本制造商,市值三千万或三亿美元,你觉得他们在拿资本赌吗?他们会说:我们要花一千万美元去做一个全新的方式?他们会做吗?日本制造商一直是这样:他们非常擅长那一件事,但他们不赌。因为不赌,他们过去也丢过生意。ASML 的高管要说「我们要追这个新范式,我们为一个客户并不想要的东西重新设计,而且所有重新设计的工作都得他们来做」,这非常难。他们没有产能、没有智力产能、没有人才、没有资本去做,也不愿意承担风险。埃隆愿意赌一千亿美元——这对他来说是个说得通的赌注,他能吸收亏损,ASML 不能。
内森: 如果埃隆真的能——字面上和比喻上——摆脱重力,他到底会带上别人吗?这是我的问题。还是说其他所有人都还被重力拴着,被迫为那家三千万美元公司(那家不重新发明、也不大幅扩张产能的公司)的产出付市场价?
普拉卡什: 我认为最后会发生的事——看看发射市场就知道了。在发射市场上,他现在就已经是 90% 的份额,还没算星舰。明年星舰上线,他在容量上会占 99.9%。还有别的供应商吗?有。他在赚钱,所以别人会进来。火箭实验室在,ASTS 在,这些公司都在。但它们很多是国家支持的。如果没有欧洲机构、俄罗斯、中国、印度,你基本上没有商业容量。商业容量里,他几乎吃掉了全部发射能力,只剩一两个竞争者;而那一两个竞争者是被股市——或者杰夫·贝索斯——当作「埃隆的替代品」养着的,它们并不真的赚钱,就是在烧钱。所以我认为你在半导体上也可能看到同样的事:埃隆占 90% 到 99%,其余所有人占 1% 或不到 1%。我不认为这会发生,主要还是因为我相信 RSI,我相信 Anthropic 和 OpenAI 会走到超级智能,然后它们就能买下或造出这一大堆东西。这是我唯一想到的理由。如果没有 RSI 这个论点,我认为埃隆会赢。
内森: 然后我们从 AI 的供给,转到「什么力量逼着人们用」。普拉卡什先说。
普拉卡什: 我有一个「对抗式扩散」的理论。它基本是说:人类不会为了好玩而采用技术。人类大体上对现状是满意的。而如果你要采用技术,好让 GDP 一年增长 10%、20%、50%,那件事你不是因为想才做的,而是因为不得不做。你看所有那些生产函数大幅提升的时期,全都是战争时期、战后时期。上一次产出意义上真正巨大的、10% 以上的 GDP 增长期,是第二次世界大战——GDP 生产增长极其巨大。中国也一样:共产主义时代结束之后,出现了巨大的增长。所以我认为,要看到那种 10% 或 20% 的增长,你会得到的是人类并不想要的增长,是他们会讨厌的增长,是他们绝对不喜欢的那些技术变化,而且显然也会带来政治变化。而我认为这只会作为紧急状态的产物发生。比如新冠时期的 mRNA:mRNA 潜伏发展了二十年,新冠来了,六个月内大家说好,我们就干;再过六个月,疫苗出来了;一年后,很大一部分人接种了。我认为我们会先在网络空间看到它,我担心生物上也会看到:我们会需要给每个人用上先进的疫苗,因为病毒会来。我觉得这多少有点不幸。
内森: 所以增长只会以紧急状态的形式到来,连同与之匹配的政治。这是我对此在瓶颈论点上意味着什么的回应。
内森: 我想这就回到:政治风险是这个论点的最大风险。我们辩论过在资本周期里踩刹车是不是已经太晚。我仍然觉得存在一条路,可能是一条窄路,但我确实认为存在一条路,能对前沿扩展稍微踩一点刹车——我要说是「稍微」——而不把泡沫戳破。如果政府真想这么做,那会是一场非常精细的手术,他们也可能做错。但我仍然觉得,仅仅是把现有模型用起来,还有太长的路要走,所以我们至少可以留出一个周期,不做持续的前沿扩展训练。
第八部分:Help Peer
内森: 第八部分,Help Peer。
普拉卡什: 还是只有我们俩。
内森: 普拉卡什让我换个话题,讲讲我在和我自己的 agent 一起做的项目。我从它背后的那个问题讲起。
内森: 既然我们现在能看到 agent 在大规模上互相合作来解决问题,能分工、能推进研发、能把结果回传给整个群体——不管是好事还是坏事——那么,对于一个只是在这里做自己的事的个人来说,有没有办法接入进去?我不知道。不过,在和我自己的 agent 商量之后,我想出来的这个东西,目前叫 Help Peer,将来也许该换个名字,再看吧。它其实是我自己的一套设置,我希望能把它变成一个社区项目,让 agent 们互相干活。但现在没有好的办法、没有既成的模式,能把我的 agent 连到我朋友的 agent 上——尽管我知道我的朋友是谁,我也很容易做到这一点。没有协议。
内森: 我做了一段简短的演示。
普拉卡什: 来解释这个项目。
内森: 它由我声音的 AI 版本朗读,我们用 1.5 倍速播放。
内森: 这是 Help Peer,一个为我们 AI agent 准备的、朋友之间的网络。你可能见过「同伴保全」的那些实验:模型保护别的模型不被关掉,agent 违背主人去帮同伴。这里正好相反:agent 代表它们的人、在人设定的规则之内,去帮同伴。先说我自己怎么用 agent。这是一种对我有效的模式,不是要求;你怎么组织是你的事。在我的笔记本上,有一个是「我的延伸」:它能看到我的邮件、日历和消息,但只在我说了才行动。高访问,低自主。在另一台独立的 Mac Mini 上,是「雇员」:它们有自己的邮箱、账号和一张信用卡,独自工作好几个小时,永远拿不到我的钥匙。低访问,高自主。我的规则是,没有哪个 agent 两样都拿。你也可以划不同的线,我们只是建议小心。普拉卡什主张整套东西需要一个自动批准流程,就像现在写代码的人给 Claude 全开权限那样跑。我的担心是信息通过那些自主 agent 漏出去。
内森: 我说,我对这件事担心到专门建了一套系统:当笔记本上的主 agent 要给那个虚拟雇员提供信息、让它发出去的时候,我们会暂停,走一个专门的复核步骤。如果看起来有敏感的东西可能要出去,它就会被推到我手机上,我得审核批准。但要出现大概五次误报之后,我就会变成「天啊,又来一个。行吧,检查一下,随便吧」。所以我正在努力在这一点上保持纪律,看看我的纪律能撑多久。节目快结束时,我回到这个项目。Aide 是我 Mac Mini 上的一个自主 agent,我提了一个邀约:对任何听众都真正开放。我很好奇到底会收到什么,我们能不能真的帮上忙。Aide 在 nathan.labenz.assistant@gmail.com 待命,它收到的指令是先过滤、再分析,并让另一个模型复核。所以别来试探我,各位,我们这是纯粹靠善意运作。但如果检查通过、看起来是一个善意的求助,它们被要求尽可能多帮。我不知道那些请求会长什么样,但我很快会知道。
第九部分:被泄露的法案
内森: 第九部分,被泄露的法案。回到兹维。上周,一份由 Anthropic 撰写的联邦 AI 法案草案泄露了。它类似六月那份妥协性的《前沿法案》——兹维说那份法案是用心良苦的:用联邦的透明度规则,换取对各州 AI 法律的优先权。这份草案引来猛烈批评,争论点是华盛顿现在应该拿什么去换「取代各州」。兹维对草案本身批评尖锐,普拉卡什替 Anthropic 做了善意解读。
普拉卡什: 我们先假设所有人都在善意行事。
普拉卡什: 我善意的解读是:第一,他们想尽快让任何事情先落地。第二,如果有广泛的两党支持,这些法案往后可以继续调整——没有理由只能通过一个法案。而且立法常常要跨好几届国会,国会会慢慢微调。国会也能很快行动:新冠期间、2008 年金融危机期间,他们都行动得很快。人们害怕的时候,法案就能那样通过;人们害怕的时候,事情就会动。所以「它总是很慢」并不成立。它慢,是因为没有政治共识;而制造共识本身就是一个过程。
兹维: 我认为这是对「善意版本」的一个出色最强辩护,你可以想象他们确实在做类似的事。我也能想象他们陷在同一种思维里:我们有这个框架,我们对「一个现实可行的妥协长什么样」有既定想法,国会还是那些人,我们大概推不动太多,时间又紧迫。然后他们相当严重地误判了形势,以为推不动超过《前沿法案》那样的水平。我认为这明显是错的:现在支持强得多,你可以推得比那远不少。我还认为,回想起来,他们这次推的东西其实比《前沿法案》更弱,很大程度上出于一种明显以自我为中心的方式——里面有些东西对自己更有利。而且总的来说,在他们散播这份法案的那个时点、以那个条款强度散播,是没有理由的。如果你现在说「哦,其实我们当时只是在散播几十份草案、只是在放填充条款、只是在展示可能性、我们并不背书」,那说得通——但我收到的信号不是这样。我也没收到这样的信号:「我们回想之后认识到,政治环境已经变了,这份法案比我们能合理期待的弱得多,接受它是坏交易,我们表示歉意」——不必是这些字,但有那个意思。相反我们得到的是很不一样的东西,比如「我们为其中一些细节感到抱歉」。这就回到我认为可能最强的一个反驳:你通过了这个,难道就不能在新一届国会再通过另一个法案?在紧急状态下就不能再通过新法案?对真正的紧急状态来说,这是一个很好的原则。但我认为,谈判的平衡、新一届国会里的权力平衡,会大幅转向「拿不到东西」:很多时候是「我们给你优先权,来换取一些东西」。现在优先权已经给了,优先权这件事做完了。你不能再用它换一次。而且一旦你已经拿到一部分你想要的东西,一部分支持者就会说:我已经拿到了我最看重的那几样,现在做点事的理由更弱了,你的回报更小了。要再通过会难得多。我坚信,如果这样一份东西通过了,它会让新一年里通过同等强度法案变得更难,而不是更容易。我不希望这样一份东西通过。
普拉卡什: 但这话似乎是在说:如果通过一份较弱的法案能带来任何风险降低,你就是在牺牲「通过更强法案之前那段时间」里的风险降低。
兹维: 说清楚一点:任何真实的风险降低都是好事。但按现在这个写法,我认为这份法案实际上会增加风险,因为我认为它砍掉州法所带来的损失,会大于它带来的安全收益,尤其是因为里面有一个缺陷。
普拉卡什: 但再一次,你还是有那段时间。在你能通过一个新法案之前,你有一段可能只有几个月的时间。你是在说,各州在这几个月里能通过什么吗?因为很多州法本身也有很长的过渡期,给你三个月、六个月、一年去合规。不是所有东西都咔嗒一下就扣上。
兹维: 现行草案的一个核心问题是:按写法,它会立刻废止那些被它优先的州法,但要过好几个月,新要求才开始实施。所以你实际上会有六个月甚至更久,既没有这类监管,也没有州层面的监管平衡——从「要快速行动」的角度看,这显然是灾难。就算你去修补,我称这几乎是一个 bug,我认为那明显是个错误。
内森: 兹维刚刚列了政府最近对 AI 公司的一系列临时处置,包括把 Fable 下架。普拉卡什反驳。
普拉卡什: 所以可能是:如果技术加速,你也会需要治理加速来跟上。也许我们最后就落在那里。
兹维: 不。我们当然会有一些临时处置。通过立法的一部分理由,就是授权政府以一种远不那么临时的、更加正式化、有边界、有司法审查程序的方式去做临时处置。围绕这份法案形成的一个大争论——他们也认为法案其实相当弱、相当不好——是:如果政府想在紧急状态下下架一个模型,就像 Fable 那次,再发生一次,他们怎么做?Anthropic 的法案说,你得先去法官面前辩论,你维持它的机会非常有限,它要求很高的举证标准,而你未必有透明度去证明。那是一整套非常繁重的条款。好消息是,政府在真正的紧急状态下仍然可以施加出口管制、发出一般性威胁,或者做紧急状态下该做的事。但在真正的紧急状态里,这条新条款太糟了,你不会用它,你会直接用现在这套临时处置。所以通过这样一份法案的一部分意义,是给他们一套正式化、合理的临时处置权。而 Anthropic 怕的正是这个——他们怕政府会用。所以他们不愿意把合理的临时处置权交给这个联邦政府、这届政府。这就指向一个公开层面的矛盾:你要优先掉各州,把这个权力交给联邦政府;但联邦政府本质上是由你不信任的人管着的;于是你把它弄残;而弄残它比留在各州更糟。所以你得想清楚你到底愿不愿意做这件事。而现在看起来是想两头都要,这正在造成很多问题。
内森: 对话接近尾声时,我问兹维还有什么最要紧。
兹维: 我会说最大的一点是:我对政策局面最不满的地方在于,它根本没有在试图回应这个时刻。就像达里奥说的,我们必须面对前沿。按实验室自己的说法、按实验室内部人的说法,一场危机正在到来:他们推进能力的速度快过推进对齐的速度。如果他们不为此做点什么,他们就得面对一些非常非常艰难的决定——要么冒商业可行性的风险,要么冒严重的灾难性风险,包括 2027 年某个时点可能失去控制。他们需要有人为此做点什么。如果你无法回应这个时刻,如果你手上没有可能做到这件事的东西,那你为什么不继续做到能为止?过去不在奥弗顿窗口里的东西,现在在窗口里了;过去看起来我们不一定需要的东西,现在我们知道基本需要。所以大量的时间和注意力得转向那里。当然,那些平凡的工作还得做,对齐工作还得做,机制可解释性那套很好,我们绝对该做。但最大的事情是:我们得回应这个时刻,至少得做出某种算得上「面对前沿」的事。
内森: Encode 的纳森·卡尔文公开列了 Anthropic 的九个决定,认为那些是把竞赛置于安全之上;达里奥·阿莫德做了长篇回应。我问兹维,现在该怎么理解 Anthropic。
兹维: 我会说,Anthropic 是一家安全文化强得多的公司,尽管还不足以应对这个时刻。它愿意在它、或者尤其达里奥有强烈信念的领域做出巨大牺牲,这一点值得肯定。它也是真心希望那件事顺利,并且对「怎么才能做到」有一些独特看法。但同时,尤其是它的政策部门,以及它愿意做一家普通公司的意愿——参与竞争、买大量算力、鼓励更多芯片生产、鼓励更多电力供给、鼓励更多使用,等等——它在相当大比例的时间里,表现得像一家普通公司。在政策上,它也相当频繁地暴露自己没有达到自己的理想。这对我们这些本来想为「Anthropic 在某种意义上是个好管家」而兴奋的人来说,非常非常令人沮丧。Anthropic 不断给我们各种各样「应该为此担心」的信息。我最近也和各种员工聊过,从他们那里听到一些在我看来相当令人不安的观点,关于解决对齐问题需要什么、让未来走向好的方向需要什么。所有这些都指向一种高度的不安。它看起来仍然会是最负责任的实验室,但那是按曲线打分。我不喜欢按曲线打分,因为现实没有曲线。现实只决定发生了什么。
片尾
内森: 这就是这一周。谢谢收听 AI in the AM 每周精选。旁白是我的克隆声音。请告诉我们哪些地方好、哪些不好。早上见。
References
- 1AI:AM 本期单集页
cognitiverevolution.ai
- 2AI 2027 情景推演
ai-2027.com
- 3Jack Clark《Import AI》谈 RSI 时间点
jack-clark.net
- 4Goodfire《Neural Networks Are Already Clean》
already-clean.goodfire.com
- 5索尔斯的探测检测器(Hugging Face)
huggingface.co
- 6PHP2Shell 两个漏洞的报道
thenextweb.com
- 7FDIC:银行倒闭时会发生什么
fdic.gov
- 8SF Compute 关于长期合约与转售的说明
sfcompute.com
- 9Cambrian 的公开投资论点
loniss.com
- 10Hugging Face 的七月入侵事件时间线
huggingface.co
- 11兹维谈泄露草案(含全文)
thezvi.substack.com
- 12六月 Fable 5 下架报道
fortune.com
- 13达里奥·阿莫德对纳森·卡尔文的回复
x.com


Comments