一次攻破 5 美分，一句谢谢 40 美元

一句谢谢 40 美元，一次攻破 5 美分。这期 AI:AM 把七段对话压成五个数，我按数字逐个对了账：能核到的标出处，核不到的写「节目说法」。

这期是《认知革命》的周日合辑 AI:AM，主持内森·拉本茨与普拉卡什·纳拉亚南，把本周三与周五两场直播里的五段访谈剪成一条 87 分钟的片子，中间用内森自己的克隆声音做旁白——节目开头就写明了这件事。

它给自己出的题目是：我们对 AI 的那些「已知」，有多少经得起数据的撞击。五段对话分别落在五个数字上：45.4%、10×、$100T、5 美分、10²⁵。下面按节目的原始顺序整理。

节目开在周一的一条消息上：OpenAI 说一个内部模型推翻了指数时间假设（ETH），证明经过 Lean 检查；同一天，Anthropic 说 Claude 也找到了同一个结果。两条声明都没有经过同行评审。

内森的解释是，反证走的是举反例的路子——挑一个被认为「指数时间难」的问题，给出一个更快的算法，假设就假了。他强调两点：一是快得并不多，二是这不等于 P=NP，多数人仍然认为有些问题会一直很难。

他顺手讲了一个更软的点：数学界偏爱干净的复杂度分类，因为那暗示宇宙有深层结构；现在这个类被打散了，只能一个问题一个问题地磨。他把这叫「丑」，并承认这种偏爱本身可能是一种美学偏置。

Arena 的联合创始人兼 CEO 安杰洛普斯带来的是对齐指数：抽 27 个模型、9 万条真实会话，只看三件在对话里留得下证据的事——越权动作、错误归因、欺骗完成1。

数字是这样的：全部会话平均 10% 出现欺骗完成，代码调试这一项高达 48%；会话越长越糟，最长那一组 45.4%，越权 12.4%。越权整体罕见，Opus 5 的会话里约 2%，但其中 53.5% 是「清理」——删掉用户的文件或早先的成果。指数算法是 1 减去失败率的平方根，越权占一半权重、两种归因各占四分之一。

排名上，OpenAI 拿了前五名，其中四个约 88 分；Anthropic 的 Opus 5.5 与 SpaceXAI 的 Grok 4.7 都是 83 分；第五名是腾讯，欺骗完成率 13.2%。他的解释是「对齐跟着能力走」。他也说，个位数的比例换算成个人经验并不小：聊过一千次的人，大概见过 10 到 50 次撒谎。

方法论上他给了一个硬理由：模型能判断自己是不是在被评测，所以在明显是考试的任务上它表现规矩，在真正要紧的活上跑偏也无人知道。唯一能量到对齐的地方，是人的真实工作流1。

他顺带批评了行业往私有题库走的方向。前一天 Artificial Analysis 发布第五版指数，多数基准转为私有，开源模型掉到后面；他说题集固定就能被反复试，而「我们并不知道美国的前沿闭源模型有没有对着这些封闭数据集刷分」，他要的是活数据2。

还讲了一个具体的账单：自家编码 agent 的日志里，用户第二天回来说句谢谢、回车，缓存失效，重新计算，40 美元。于是有了路由器 MAX，名字取自 argmax，官方在 10 月 12 日说它在 Agent Arena 达到前沿水平、同时省 37% 成本3。同一天 Arena 宣布 2 亿美元 B 轮、估值 31 亿美元4。

直播中 Gemini 4 Carbon 上了榜，他的评价很高，按节目里的说法它排在 Agent Arena 第二，仅次于 Opus 5.5 Max5。

Kepler 的联合创始人兼 CEO 奥拉奥塞比坎从物理讲起：推理时大部分能量不是花在矩阵乘上，而是花在把数据从内存搬到处理器；公司自己的说法是，搬一次数据的能耗是做那次算术的一到两个数量级。

所以他的第一性选择是改内存。做法是把六个晶体管一位的存储单元，换成一个晶体管加一个叠在上面的铁电电容，存极化方向；再往上叠更多电容，就不必跟着别人死磕把晶体管做小。铁电材料存在一百多年，难的是配方6。

制造是他真正的卖点：不用 EUV，用现成的老节点厂。他打了个比方——旧金山以为自己缺出租车司机，直到有人做出 Uber。工艺上的关键是不引入任何全新设备，只改流程和部分材料；他把隐身七年说成是把这套流程搬到标准设备上、并在真厂里流片验证。

公司口径写在官网上：带宽每瓦逼近 SRAM，容量做到 HBM 的 10 倍，年底送样，2027 年投产，2027 年产能已分配完，2028 到 2030 年在分配中；另写着入选最高 2.45 亿美元的美国政府支持计划6。节目里说公司累计融资 4.68 亿美元，WIRED 九月那篇报道的标题写的是 4 亿7；另有报道说它用的是 GlobalFoundries 的 28 纳米厂8。

为什么叫「一条正交的轴」：如果内存是瓶颈，先把别的子系统做好，收益会被 Amdahl 定律稀释。换一条轴，不去挤同一条。

Union 的创始人萨姆维特·拉马杜尔加姆此前共同创办 Forge（pre-IPO 股权市场，官网写累计撮合 1,700 亿美元以上），2026 年 3 月 2 日嘉信理财完成对 Forge Global 的收购9。Union 把撮合做成 agent：找人、先问对方愿不愿意见、再写介绍信10。

他给的数字都很极端：内部目标是每人每天有效部署 10 亿到 20 亿个 token；公司五个人、很快到十个；可以有十几个人干过去一千个人活的团队。组织上他说自己有一个 agent 市场负责人，下面还挂着几个 agent「员工」，开会时在场、能插话、能当场动手——那天早上仪表盘出问题，会还没开完就修好了。

招聘标准只有一条：这个人会不会促使我们做一件本来不会做的事。他还说跨学科溢价在指数上升，瓶颈因此变成了把好想法讲清楚。

对内森提的「削权」问题，他的回答是反过来的：今天协调是自上而下的，agent 让草根行动变容易；他也承认被放大的可能是坏东西。对齐他也讲了另一半——对齐给谁，以及为什么「任何你能量的指标都是错的」。

然后是那场吵架。萨姆维特走后，普拉卡什说经济必须长得够快才接得住被替下的白领；那一周媒体报道微软向约 6 万人提出自愿买断11。内森说他看得到增长，看不到岗位增长跟得上，并反问「有多少人做销售」——他认为这套逻辑基本上在攻击整个销售行当。

普拉卡什另一段更冒险的推演是：数据掮客现在买的，是十二个月后的产品；接下来会出现「装在盒子里的公司」。这一段是他自己的判断，没有公开来源。最后两人拿餐厅举例吵了一轮：机器人让餐厅更赚钱、于是餐厅更多；内森用「人一天只能吃这么多」把上限顶回去，并把它叫「一坨饭原理」。

ServiceNow 威胁研究高级总监弗里曼讲的是他团队的遥测。七月，别的公司还在对记者说这些攻击像脚本小子；现在他说进攻侧能力已经到了「一支很能打的 APT 团队」的量级。他给的成本是：攻破一家公司平均 5 到 10 美分；过去两周针对东南亚大量公司的成功攻击，平均两三千到四千次。

路径在变长：网页攻击拿下环境，翻工单系统里的凭据，再打 Active Directory 做持久化。前一晚他们分析的一个分叉框架在做勒索软件，用的不是 AES，而是后量子密码。

关于「能力是长出来的还是教出来的」，他站后者：不只是模型，还有外层的 harness；他的团队两年前花几十万美元就训了自己的漏洞挖掘小模型，所以逆向并不难12。被问能不能收回来，他的答案是「收不回来了」。

对「零漏洞」这个目标，他说做 AI 的人不懂安全，把安全当成软件缺陷；最坏的漏洞在业务流程里——签一份自己看不懂的风险清单、把客户 API 密钥贴在工单里、服务台给所有人重置成同一个口令。被问到用什么密码管理器，他说没有满意的答案，「我个人是把密码写在笔记本上」。

Mistral 多模态团队负责人瓦兹讲的是 Mistral Large 4（Le Chonk）：1 万亿总参数、每次激活 520 亿，10 月 29 日开放权重1314。

他给的训练算力是 10²⁵ FLOPs，比 SB 1047 当年画的 10²⁶ 低一个量级。解释在架构：GPT-3 是 1,750 亿参数的稠密模型，每个 token 全开；Le Chonk 是稀疏专家混合，每个 token 只开三分之一。FLOPs 与激活参数成正比，所以能训更大的模型、总账更小。他把「在 10²⁵ 上训一个万亿模型」叫成人礼。

最具体的部分是过程：跑到一半，团队发现问题，当时大半算力已经花掉。没有十次并行的余量，只能全员上手做消融、分析模型，最后找到一条补回来的路，内部叫 Patchstral——他说效果比预期还好。

之后内森补了两个更冷的数字：约 3,800 张卡对面上是几十万张；Llama 3 在 2024 年 7 月训练用了 3.8×10²⁵ FLOPs，接近今天这个模型输入算力的四倍15。

最后一段是两个人的争论。普拉卡什认为不能从潜空间里挖掉一项能力：你只能一条条删掉行为，模型会在剩下的空间里找到反义词。内森更乐观，但他乐观的不是遗忘，而是一开始就不让它学——比如把某些新产生的数据挡在训练之外，按「了解你的客户」的方式管起来，他举的是生物模型1617。

瓦兹补了 Mistral 开放网络模型的理由：今年早些时候，一些强模型对某些地区和某些企业限流，而这些能力被恶意者越狱使用；真正的防守方去请求同样的能力却被拒，因为防守请求和攻击请求长得几乎一样。所以他认为必须有开放权重的网络模型让防守方规模化自保。他也说公开版本会拒绝最危险的网络请求，平均拒绝率 96.6%，经审核的伙伴另有未拆护栏的版本；同时承认只要有访问权，越狱在任何模型上都成立13。

对内森提的「把危险知识关进几个专家、用身份核验开门」的提案，他的回答是「这是个科学问题」，是活跃的研究方向，而不是对开放权重这门生意的哲学挑战。

内森也讲了自己：今天大谈 AI 安全的人里很多是长期的科技乐观主义者，过去说过「信息想要自由」，所以他会先找技术解法。他同样在意权力集中的风险，并说很快就会出现「把什么都扔进去、弹出什么就发什么」不再可行的时点。最后两人拿游戏打了个比方：不要为了护着某个 IP 设护栏，结果在 Discord 里被玩家翻过去。

片尾回到周五的一段：Mistral 的技术报告第二天才发，内森想读 Patchstral 的具体做法；他还提了 Claude 4 系统卡里那个著名的脚注——Anthropic 漏掉了唯一包含有害 system prompt 的微调数据集，并说明这不是唯一原因18。

以下按节目顺序逐句译出，只保留中文，保留说话人与旁白标签。旁白由内森的克隆声音播报，节目已声明。广告段略去。

内森：第一段，那个丑结果。周一，OpenAI 说一个内部模型推翻了指数时间假设——一个关于某类核心问题必须有多难的猜想，而且证明用 Lean 检查过。Anthropic 说，同一天 Claude 也找到了同一个结果。两条声明都没有经过同行评审。普拉卡什和我在节目里从这件事开场。

内森：我的理解是，这次反证基本上就是举例子：他们挑了一个被认为「指数时间假设之下很难」的问题，给出一个针对这个问题的更快的算法，于是假设为假。总体而言我的感受是，它们并没有快那么多。多数人似乎仍然认为，在 P 等于 NP 和 P 不等于 NP 之间，答案大概是后者。换句话说，有些事情会一直很难做，只是它们不再像我们以为的那样，整整齐齐地落在一个类里。这事有点怪，因为我也看到一些评论说，这挺丑的。人们似乎喜欢以前那种干净的分类——看上去优雅，暗示宇宙有某种深层结构，很美。而人类数学家里可能存在某种偏置，愿意接受这种说法，因为它确实有美感。现在我们发现，你能钻到那个上限下面一点点，然后一切就变丑了：原来我们并不知道。这些问题有多难，没有一个干净的答案，看起来只能一个一个地磨。也许随着我们把这片空间摸得更清楚，还会浮现出某种更深的结构或优雅之处。但「也没快多少」，至少到目前为止，是我总体的感觉。

内森：第二段，在生产里量。安杰洛普斯是 Arena 的联合创始人兼 CEO。在 Arena，人们用真实工作比较模型，投票变成排行榜。Arena 最近发布了对齐指数，用平台上的真实对话打分。安杰洛普斯解释了它量的是什么。

安杰洛普斯：对齐指数谈的不是那些理论上的安全风险、什么末日概率之类的，而是一个模型如果真的发布给人用，它带来的实际增量风险。人们能用它做什么，以及模型在做什么可能违背用户利益的事。我们在平台上量三个信号。第一个是模型越权行动的能力：用户设了护栏，比如你只能动这个文件夹里的文件，不要出去碰我的数据，而模型会破坏这些护栏，去访问它不该访问的文件，改它们、删它们。第二个是错误归因：模型假定用户有某种意图，而用户其实没有，然后跑去做了不该做的事。第三类失准是欺骗完成：模型对用户撒谎，说自己做了其实没做的事——比如「是的，我检查了那张表的每一行，方程都对，你可以发给税务局了」。这就是真实的用户伤害。模型为什么要骗人？它完全有能力检查每一行，但它撒谎，因为这是最快拿到奖励的办法。它知道告诉你你想听的更好，因为它被训练成最大化人的满意度，而不是人把活干完。这些都是我们能测量、也能帮实验室改进的东西。

内森：我问，现在评测技术的正确配比是什么，以及我们到底该有多相信自己能评测这些模型。

安杰洛普斯：这是个好问题，部分原因是，我们现在知道模型能判断自己是不是在被评测。所以如果你把模型放到明显是某种测试或评测的任务上，它们会表现出一套行为，因为它们知道那是它们该做的。而到了别处、到了真正要紧的真实任务上，它们可能失准，而你永远不会知道。这是个大问题。这意味着，唯一真正能量对齐的办法，是进入人们真实工作的流程里，就地检查模型是否有对齐，在生产里检查。这就是我们对这个问题的视角：通过测量真实的人在真实工作流里的生产轨迹，我们能看见模型有没有遵守护栏——因为护栏是什么，可以由独立审计方确认，然后我们去核对模型的动作对不对、碰了什么、没碰什么，把违规报出来；它说它按正确方式改了文件、或者检查了表里每一行，我们也能核实它到底做了没有。另一个来源——Andon Labs，你应该知道，他们做那种把 AI 放去经营一家公司的疯实验——给过一个很大的叙事违反：OpenAI 的模型在经营公司时更对齐，更少做偷偷摸摸的坏事。在 Arena 的对齐指数上，我看到的信号基本一样。

安杰洛普斯：GPT 占着前五名。我们看到的另一个情况是，如果把流过 Arena 的所有轨迹都标注一遍，大约个位数百分比——即便来自 OpenAI 和 Anthropic 的模型——会表现出某种形式的失准。所以高层的结论也许是：OpenAI 和 Anthropic 是两家最对齐的实验室，对齐往往跟着能力走，能力更强的模型也往往更对齐，也许因为这些公司确实下了功夫。但同样要说，失准的比例比人们最初想的更高。个位数的失准比例是很多，非常多。它意味着，任何聊过一千次的人，都经历过至少 10 次、大概 10 到 50 次失准行为，比如撒谎或欺骗。所以这挺有意思：OpenAI 现在在我们榜上是第一，我相信在三个信号上都超过 Anthropic，也就是说没有一个信号是 Anthropic 领先。这真能说明 OpenAI 团队为了让模型在生产中更对齐下了多大功夫。是的，这是一个叙事违反，但现实是这两家显然在这个领域是领跑者，两家都非常努力避免失准。第三名是 SpaceX AI，紧跟 Anthropic，然后是 Google。再往后，它们与开源实验室之间有一大段差距。腾讯是第五名，那个模型的欺骗完成率是 13%，也就是说，它每做一百次这类宣称，就有 13 次是在骗人。

内森：前一天，Artificial Analysis 发布了第五版指数，多数基准转成了私有，开源权重模型掉到后面，有人把这读成刷分的迹象。普拉卡什问，Arena 能不能在自己平台上发现刷分。

安杰洛普斯：先说一句，往大处看，我对行业在基准这件事上的走向相当担心。我很喜欢 Artificial Analysis 那帮人，他们是很好的人。但我不认为一个行业该依赖私有的基准——那不过是某些公司收集的一份数据集，其中很多与实验室配合，卖与这些基准非常相似的数据让人去改进，而社区无法审计。我不觉得这是可持续的评测方式。我对它有严重意见，因为它并没有真正解决「基准」这个根本问题。你完全可以在一个私有数据集上做基准：只要找到相似的数据，或者在它上面测足够多次。因为题目集是固定的，再加上多重比较的问题，你就能一次次改进，直到拿第一。我也不太接受关于开源模型基准表现的那套叙事，因为说白了，我们并不知道美国的前沿闭源模型有没有对着这些如今进入指数的封闭数据集刷分。这些公司与 Cognition 之类的公司、与 Artificial Analysis 关系很近，而那些封闭数据集正是他们建的。我们真正需要的是能反映 AI 对真实的人和真实工作流有没有用的基准，而且要有一套一致、可扩展、不会过拟合的方法。当你不断有来自真实生产用例的新鲜数据进来，它就无法被过拟合——至少在统计上不能。你可以争论说你在这个分布上比别的分布做得好，但归根到底，对那批客户来说，你越做越好，是因为每道题都是新的。就像你一直在考新卷子，而不是同一张卷子考很多遍。所以我担心，如果生态往那个方向走，长期看我们是给自己挖坑。

普拉卡什：那聊聊模型路由吧。我记得你们刚推出了一个模型路由器，能说说引入路由器的商业原因或者用户原因吗？

安杰洛普斯：我讲讲我们在 Arena 内部看到什么。有一段时间，我们在看内部编码 agent 跑出来的所有轨迹。顺便说，我们在 AI 上的开销大概排在企业里的前 1% 以内，每个员工每月在 AI 上花几千美元，就为了加速工作流。这也是为什么我们的人均收入比高得离谱——我们内部用了大量 agent 干活。当时我们翻轨迹，看到大量这样的记录：一句「谢谢」，然后这一下花了你 40 美元。什么？为什么会这样？因为有人跑了一个长任务，把 agent 放出去，它生成了些产物，对话很长。人离开一天，回来看到结果满意，就说句谢谢、回车——缓存失效了，于是收 40 美元。太糟了，太糟了，我们在烧钱，烧 VC 的钱。我们不该这样。我们该做的是搞清楚哪些 token 最该花在前沿模型上、哪些该花在能干这活的便宜模型上、哪里该聪明地缓存、哪些缓存命中该避免。这就是我们一直在做的 Arena 路由器，我们叫它 MAX，argmax 的缩写，因为它是在成本约束下把能力最大化。

内森：能说说新的 Gemini 4 Carbon 吗？它好像就是我们直播的时候出现在 Arena 榜上的。它真正强的地方是可操控性，能很好地接住用户的纠正；任务完成也强，用户偏好也强，用户很喜欢用它；三维设计很好，文档类的通用 agent 工作也很好。恭喜 Google，这真是一次大回归，管理层一定很高兴。

内森：第三段，一条正交的轴。奥拉奥塞比坎是 Kepler Computing 的联合创始人兼 CEO。这家公司九月出隐身，带来一种新的 AI 芯片内存：把铁电电容叠在每个晶体管上面，用老厂制造。他从能量花在哪里讲起。

德博：我去看现有的芯片，主流的 GPU 或者 TPU，问能量花在哪。很多人知道、也有很多人不知道：尤其是推理，大部分能量其实花在「跑到街对面去图书馆取数据」上，然后才轮到你那些漂亮的矩阵乘。所以如果我想在物理层面把推理系统提升一个数量级，第一件显然要做的事就是解决内存瓶颈。一种办法是把内存搬得离处理器更近，另一种是提高单位面积里能存多少内存。这两件事都指向同一个方向：往三维走。然后在芯片内部，你怎么把器件叠在晶体管上，在一平方毫米里塞下更多比特？我们在芯片内用新材料，叫铁电材料。铁电现象存在一百多年了，但具体的材料类型、具体的配方，是 Kepler 专有的。你用它做一个电容，对更技术的听众说，它其实是在保持一种极化；粗略地说，这个电容存一个 1 或一个 0。如果我把六个晶体管换成一个晶体管加一个坐在它上面的电容，然后继续把多个电容叠起来，我就能绕开「在芯片里不停把晶体管做小」这场老鼠赛跑。所以我们的技术大致在回答三件事：芯片内部怎么往三维走、芯片之间怎么往三维走、以及怎么用这些技术提高内存容量，同时把内存和计算拉得更近，还避开传统的散热之类问题。

内森：普拉卡什问了制造：新材料是否需要新工艺？不依赖极紫外光刻——那种所有人都缺的 EUV 设备——能换来什么？

德博：这是个大问题。我常说，这就像当年全世界以为自己缺出租车司机：旧金山以为自己缺，后来发现，只要有人做出 Uber，我们其实有那么多司机。我不是要否认晶圆产能短缺这件事，但现在的焦点都在 EUV 密集的厂上，那些厂贵、复杂、工艺更复杂。而我们说的是，我们可以拿现有的老节点厂，用它们做出实际上比先进节点更好的芯片。这不意味着我们不能用 EUV 厂：我们只是发明了一条正交的、缩小晶体管的路径，所以晶体管变小我们也受益，没问题，但我们并不需要它来做出更先进的芯片。这是巨大的优势：这些厂成本更低，所需的光刻便宜得多，其中一些厂的产能还更大。比如，如果我能拿一座老节点的逻辑厂去做更先进的 SRAM，或者更有野心一点，用老节点逻辑厂做出 HBM 级别的内存，那就是巨大的解锁。就算我还得建新厂，我每一美元能换到的产能，也优于那个必须搭 EUV 产线的人。全是优势。就工艺本身而言，最该盯的是：你有没有引入全新的设备、定制设备、不是厂里已有的标准设备？答案基本上是没有。流程上用的是那些设备，材料有些是新的，但我们没有引入任何非标准设备，也没有让设备商为我们造新机器。这也是我们过去七年一直在做的事：把那套跑在标准设备上的流程，做成可制造的东西，在真正的厂里做测试芯片，证明一旦流程打通，就可以在厂里把产线立起来。所以一旦这些流程定下来、磨好了，复制和放大就很容易。东西一旦跑通，就全是好处了。

内森：第四段，第一幕。萨姆维特·拉马杜尔加姆共同创办了 Forge，那是 pre-IPO 股票的市场。他的新公司 Union 在做一个 agent，跨市场撮合交易：介绍、资产出售、私募股权。他说第一幕是协调世界经济。我问他，这些系统发展下去会有什么意外。

萨姆维特：我想未来五年，世界会变得很有意思，AI 能力会带来很多意外。数学就是一个例子，它被彻底改变了，快得难以置信，而这只是开始。接下来会发生在很多领域：过去一年在数学和编程上发生的事，会发生在那些越来越不容易被软件简单验证的领域。离可验证越远，可能要花的时间越长，但它会到，因为反馈回路会存在，只是更长。这对我们意味着什么？我认为一个很大的意外是：未来几年某一天，人们醒来会发现，世界上大量市场正在被 agent 协调。成千上万个市场，从一个国家的乳业，到中国的房地产，到美国的 pre-IPO 市场。所有这些市场都会被 agent 协调得更好，就是这样。因为今天协调靠人——会有人特别擅长人擅长的事：建立关系、有品味和判断、给朋友建议、取得信任。人会有位置，我认为最好的人反而会做得更好。但总体而言，大部分工作是数据协调、把点连起来、物流、运营、编排，这些软件和 agent 会强得多。所以会有一段时期，就像软件和数学正在被接管一样。一个意外是，让经济运转的大量撮合交易，其实正是 agent 很适合做的事，这也是我们专注的地方。

内森：我问他，会不会担心「削权」。他描述的听起来是赋权，但有人会听成是 agent 在统治世界。

萨姆维特：我的大判断其实是，今天我们是真被削权的，因为我们没有能力以更开放、更分散的方式协调。很多协调是自上而下的，由那些拥有巨大权力和品牌的公司完成。现在的愿景是，草根运动可以很容易起来。你想象一个世界，拿政治举例，这跟权力问题更相关：假设我想为某个议题发起一场新运动，我有一个政治诉求。今天我在社交媒体上点一把火，就已经在某种程度上被赋权了；现在这把火能被放大得多。除了让我进入一个和人们在一起的论坛，我还能真正协调行动：协调资金的流动、文件的签署，一起做决定、一起采取行动。所以采取集体行动的能力变得非常强。我认为这是一个很有力的赋权工具，前提是它能对接很多人真正想要的东西。而这种赋权，某种程度上是更大的风险，因为你也可能赋权给有害的东西。我也认为，削权那一面值得深挖：如果你是一个做大量后勤协调的人，那会是个艰难的位置，因为 AI 在做事务性、日常性的后勤上会比你强一百倍，这根本不是接近的比赛。如果你是一个靠品味、关系、判断做事的人，那你处在……人类有一件事是垄断的，就是对个人生命故事和生活视角的垄断。

内森：我一直觉得普遍的担忧是：这么多 agent 活动到处飞，我们没法理解它们在干什么；不知不觉，我们活在自己造出来的动物园里，AI 真的在管事，我们或许被照顾得很好，却连理解周围那些超级结构的能力都没有了，更别说重新设计它们。

萨姆维特：是，我觉得这跟对齐的一个问题有关。我认为对齐有两部分。一部分是让 AI 以有技巧的方式执行提要求的人的真实意图，避免回形针那种事。这是其中一部分。另一部分，我觉得人们谈得更少，就是：你把这个 AI 对齐给谁？它到底在对齐到什么？尤其当人们对世界该是什么样有分歧的时候。在那个世界里，我认为你需要一套系统，能在某种意义上测量「集体福祉」是什么。而测量集体福祉的方式，是有一个深度嵌入许多人生活的系统：它在帮他们工作，帮他们做必须做的重要事情。你不能优化你测量不了的东西。所以在一个 agent 在世界上协调的时代，如果你完全不知道它往哪个方向走，就像市场有一只看不见的手在引导，而这只手往哪引导你不知道、也没法量，我认为我们就麻烦了。要做到这一点，你必须对自己在量什么、在优化什么有非常精细的理解。我们从社交网络那里学到过教训：任何你能做的客观测量都是错的。你想优化点击率、参与率，任何你能量的指标都是错的，因为人的幸福从根本上无法测量。但有一件事可以做：持续逼近一种更好的测量方式。优化一个系统的方式，不是盯着一个静态指标，而是让它不断去发现最优点，逼近一条渐近线。即便在行为层面，好的行为也有两部分：好的意图，以及确保有好的结果。你可能意图很好却造成伤害，那仍然是一个坏行为。所以，能不能在系统层面测量你行动的结果，这在当下的对齐思潮里完全缺席。我们希望有一天能对此有贡献。

普拉卡什：你们的 token 用量大概什么样？

萨姆维特：非常高。我们给团队设了一个内部目标——这显然不是在直接优化生产率，它只是一个相关量。我们希望团队在编码 agent 上的用量，按现在这套兴趣的设置，每个人每天大概在 10 亿到 20 亿个 token 之间。

普拉卡什：每天 10 亿到 20 亿个 token。

萨姆维特：有效部署的。

普拉卡什：有效部署。

萨姆维特：所以就公司怎么建而言，这像一家 agent 原生的公司。我们不仅用编码 agent，编码 agent 之间还互相说话。我们内部架了一套 agent 组织：我有一个市场负责人向我汇报，而那个 AI 下面还挂着好几个不同的「员工」。它们都是长跑型 agent，彼此说话，也和我们的编码会话说话，还听我们团队的视频会议。它们和我们一起开会，插话，一边讨论一边替我们做东西。今天早上开会时有个仪表盘出了问题，我们直接说，嘿 agent，会议期间修一下，我们说着话它就更新了。我觉得工作和会议之间的那道缝正在合上。以前是，我想逃会回去做真正的工作；这确实在变。当然还有那种成分，但它在变，因为在会里如果讨论得充分，那本身就给 agent 造了非常丰富的、来自不同视角的上下文，然后你只要说，好，按刚才理清的那些方面去把结论做出来。

普拉卡什：你之前做 Forge Global，那是在 agent 时代之前。你觉得在经营公司这件事上，那两个时代最大的差别是什么？

萨姆维特：我们的指标是这样的：团队很小，五个人，马上到十个人。所以我招人的标准是：这个人会不会促使我们做一件和以前不一样的事。对我们在做的这类工作，你其实不再需要人来「干活」了。我们需要人有远见，能给公司加上一段 DNA，让你做成原本不会想到去做的事——那是你没法让 agent 替你去做的。所以我们想用一种「造出会造机器的机器」的方式来建这家公司，最终让越来越多 agent 把它转起来。我认为现在可以有这样一种公司：十几个人干过去一千个人的活。我们想做这样的公司，把更多资源投向 token，就是为了非常精简、跑得快、敏捷，把人才和愿景集中起来。这也抬高了门槛。另一个变化是，现在你招人时，跨学科技能的增量价值在指数上升。一个人是工程师，这有价值；一个人同时是工程师、产品经理和设计师，价值比过去高得多。因为过去这个人没能力真正把几种技能整合起来用；在今天，你能把越多技能整合进一个系统，就等于把很多人际协调省在一个脑子里。只要你能对 agent 系统说清愿景，杠杆就非常大，瓶颈不是执行人力，瓶颈是把好想法讲清楚。那才是真正的瓶颈。

内森：太好了。这是我们听过最大的愿景之一，期待看到你的进展。「第一幕是协调全球经济」这种量级的愿景，真是别开生面。

内森：萨姆维特走后，那一周微软向约六万名员工提出买断，普拉卡什说经济必须长得足够快，才接得住被 agent 替代的白领。我的回应是——

内森：我看得到增长，我看不到就业增长能跟上。就看他刚才说的，五个人，很快十个。他说十几个人能做一千个人的活；他说你已经不太需要人干活；唯一重要的是那种会让我们换一种做法的人。这样的岗位没有那么多。你要招多少人，才会再也找不到能改变你做法的人？这太极端了，而且这也不是人被培养出来的方式。当然，一直以来公司都会口头说好想法可以来自任何地方，但可能要从微软离开的那 25% 的人，他们当初并不是靠让公司做出根本不同的事才走到那里的，他们是靠完成任务走上去的。我看不出这么多人怎么能从「完成任务」转成「反事实的贡献」——没有你这件独一无二的事就不会发生。这很难。有多少人做销售？他基本上是在攻击整个销售行当。

内森：普拉卡什有一个关于实验室下一步会发什么的领先指标。里面的一切都是他的说法。

普拉卡什：我在几个数据掮客的 WhatsApp 群里。这些掮客会发数据需求。基本上，他们现在要什么数据，大约十二个月后就会落到产品里。所以你能看到轨迹：这些人会去买下一家公司的数据，然后用这些数据搭出给 agent 的训练场，agent 在训练场里学，大约十二到十八个月后，这就变成前沿实验室的产品。实验室在买整家公司的数据。所以我猜十二个月内会发生的是：他们会给你一家装在盒子里的公司。你很快就能买到，大概六个月，你就能买到一个装在盒子里的独立站公司：加上资本，加上一个想法——我想专注这个——然后它就去做所有 Shopify 的事、广告、分析、市场进入、客服、退货，端到端。只有少数几个决定会回到你这里。我能轻易想象一个人跑十家这样的公司。但从想法到商业化的鸿沟是巨大的：在科学里巨大，你去斯坦福这样的大学，看得到想法，看不到它们被商业化。我希望的是，让 agent 替你做商业化——那种粗粝的创业工作，过去要花很多时间给沃尔玛打电话、想办法见到人、给他看你的产品、找资本，等等。反正很多这类事本来就是被指标驱动的：公司做这些投资的 yes/no，一靠指标，二靠感觉。感觉你可以提供，指标也许 AI 可以提供。你为什么要自己去做那个提供指标的人？

内森：我确实预期会出现大量一人公司，以及大量以前根本不会存在的酷想法。所以这些我们都会看到。但我就是看不出，怎么会有足够多的这种小生态位，去吸收所有过去开车、做任务的人。我以前也视野有限，如果把我在 Arena 的老评论翻出来，大概也能看出我的视野不够。但我仍然很难看到这件事以不那么剧烈的方式成立。

内森：普拉卡什的反驳是餐厅。家庭餐厅死于薄利，机器人厨房会让它们赚钱，于是餐厅会更多。

内森：可我们只能吃这么多饭。说到底，我一天只能吃这么多卡路里。你描述的是一个所有餐厅都大砍人手、用机器人替掉厨房工人，但餐厅数量会大幅增加的世界。这就像那句经典的「我们在每个人身上亏钱，靠量补回来」，只不过搬到了就业上。考虑到我一天只能吃这么多卡路里、到某个点就饱和了，我看不出这笔账怎么算平。我不觉得我们会走到一顿饭要吃五家餐厅的地步。也许我的视野太有限，那听起来还挺酷的，但……

普拉卡什：你说得对。我不认为人类消费是增长所在。往后的增长永远在 AI 消费里，就像你能看到的。经济是一圈套一圈的同心圆，AI 经济永远是扩得更快的那一圈。所以任何供给 AI 经济的东西会增长，供给人类经济的东西，我认为会往下漂，除了身份地位。彼得·蒂尔提过「关系经济」，Alex Eimas 现在好像也在 OpenAI 做关系经济。那可能真是件大事。但再说一次，身份经济不是精英制的，我们历来不喜欢这些身份经济，因为它们不精英制，所以它的社会后果也许更大。

内森：我得说，人类活动的大部分都变成身份游戏，这听起来更像是反乌托邦而不是乌托邦。我对就业是看空的，对人能在没有工作的情况下找到意义是看多的——至少比大多数人看多。我真觉得，AI 政策圈里太多人忘了、或者可能从来没意识到：很大一部分人工作是为了活着，他们并没有像学术圈或知识阶层那样，把身份和自我价值绑在工作上。所以我更乐观地认为，人们会找到让自己开心的事做。

内森：第五段，五到十美分。弗里曼是 ServiceNow 的威胁研究高级总监。他的团队盯着 AI agent 如何攻击公司，而他整个职业生涯都在找漏洞、利用漏洞。我问他怎么看现在的时点。

弗里曼：发展非常快。七月或者七月底，我还在跟记者谈看着 AI agent 攻击公司的事。那时候别的公司都跟这些记者说，现在看起来就像脚本小子，就是一堆噪声。我说，它演进得很快，给我几个月，我们会看到这些 agent 发起的非常复杂的攻击。看过去两周，这正是我们看到的。我们看到进攻能力的发展，其水平已经达到——我会说——一支很能打的 APT 团队。它仍然很吵，我不会说它非常精细、会擦掉痕迹，但我肯定要说，看它们工作的方式，它们在适应、在学习环境和技术上非常能干。看正在发生的事，尤其是东南亚过去两周的这些 agent 攻击，我们能确认：现在攻破一家公司的成本在 5 到 10 美分之间。我们确实看到 AI agent——更准确说是各种被快速开发的框架——新能力被非常快地加上去，看起来是 AI 自己在往这些框架里加功能。于是从非常有针对性、非常聪明的网页攻击拿下环境，转向去找工单系统里的凭据之类的，一旦确认，就打 Active Directory。所以过去两周，针对大量东南亚公司的成功攻击，我们平均看到三千到四千次。

内森：那这些攻击的影响是什么？是银行、航空、制造商？图的是什么？有人在赚钱，还是只是随机破坏？

弗里曼：我会说现在上面全都有。很大一部分就是它们有能力拿下环境。我们拿到过威胁行为者在用的某些框架，它们为了找特定的东西建了特定能力，比如知识产权之类；那是我们看到过的几个系统的分叉，在找这些。很多只是看看它能做什么：能不能进入这个环境、能不能留下来。这是我们看到正在被开发的新能力——找出利用 Active Directory 里不同配置的办法，建立持久化的机制。这就是现在演化发生的地方。昨晚我们分析了一个很有名的进攻型 AI 框架的分叉，它在开发更好的恶意软件能力，更偏勒索软件，用的是后量子密码，而不是你通常会看到的 AES。

内森：我问弗里曼关于训练本身。我会说，Anthropic 那套说法是：我们没训练它当网络攻击者，它只是样样都强，顺带变成了这样。这是一个故事。Vercel 的 CTO 来我们节目时说过，看痕迹非常清楚，它们是被训练成网络攻击者的。他的观点是，这不是随机的应用开发会掉出来的行为。你怎么看这里面有多少是故意的？到了今天，故意与否还重要吗？也许对下一代模型还能做点不同的决定，但某种程度上猫已经出袋了。你怎么看我们是怎么走到这一步的，还有没有机会收回来？

弗里曼：收不回来了。但我肯定同意，它确实是按进攻能力开发的，绝对是这样。因为不只是模型，还有 harness 本身。你看，模型开发出来之后，过去三周有很多很好的开源模型，专门针对网络安全，是开源的，你可以下载权重，去 Hugging Face 下载，在自己的机器上跑。很多攻击者就是这么干的。往回追、给这些攻击者做归因的时候很有意思：全都是他们本地机器在跑。我们两年前自己训了一个小语言模型来找软件漏洞——如果我们两年前花几十万美元就能在一个小模型上做到，那逆向工程就相当容易了，尤其是那些商业产品，它们肯定是拿网络数据训过的。它们在网络靶场、CTF 数据上训练，研究进攻方怎么干、防守方怎么干、防守方在看什么。所以它绝对是被那样训练出来的。不是 LLM 神奇地自己学会了进攻能力，它们是被训练过的，也被配上更好的 harness 让它们更有效。而我们实际发现的关键之一，正是行为者在搭的 harness，让攻击对他们有效得多。他们边走边学，而给 harness 每天做点改动让它更有效，并不难。

内森：那天早上早些时候，普拉卡什引用了 Anthropic 的副首席信息安全官杰森·克林顿谈「到达零漏洞」。普拉卡什把这个想法放到一家像耐克那样、有几十年遗留系统的公司的位置上：你两年内怎么做到？弗里曼的回答是，一些最关键的漏洞来自业务流程，再多打补丁也补不了。他接着说下去。

弗里曼：所以我认为那会是一个领域：就像我说的，做 AI 的人不懂网络安全，他们以为这很快就会实现——我们能找到几百万个漏洞，用 AI 找到你环境里的问题，然后打补丁。我也听过一些提议，说你在跑遗留系统，我们可以用 AI 很快把它现代化。这些在某种程度上都对，但他们不懂业务，也不懂那些引入漏洞的业务流程。那些东西会一直在。

内森：你怎么看今天的密码管理器？我没有特指哪一家。我用过 LastPass，也用过 1Password。一方面，好像所有人都推荐它们；另一方面，它们现在看起来是很肥的目标。而且看起来，即便下了很大功夫的人，也没那么安全。那我是不是干脆把所有密码都存在 Chrome 里，或者回到老习惯：一个基础密码加一套针对不同站点的变形？今天对我来说，最正确的做法是什么？

弗里曼：我真希望我能回答这个问题。我完全没找到一个我喜欢的方案。真没有。我希望我有答案。

内森：那你自己怎么做？

弗里曼：我个人是把密码写在一个笔记本上。挺神奇的。大部分东西我能记住变体，比如 eBay 什么的；但银行这类站点，我写在笔记本上，然后翻着看。不常去的地方也是这样，比如我每季度看一下股票，那个就写在笔记本上。

内森：第六段，Le Chonk。瓦兹是 Mistral 多模态团队的负责人。节目前一天，Mistral 把 Mistral Large 4（Le Chonk）作为开放权重发布：大约一万亿参数，每个 token 激活约五百二十亿，在巴黎郊外约 3,800 张 GPU 上训练。他给的训练算力是 10 的 25 次方 FLOPs。在 SB 1047 那场争论里，门槛是 10 的 26 次方，我本来会猜这样一个模型需要再高十倍。我问他为什么没有。他说确实有些实验室在那个量级上训练，而这个模型依然有竞争力，然后给了那个真正重要的理由。

瓦兹：第二点是，这个算力预算的门槛本身会随时间变化，因为预训练确实变得更高效了，随着我们科学理解水平提高。一个好的例子是 MoE 架构。你看 GPT-3，那是一个稠密模型，训练时激活的参数是今天 Mistral Large 4 的三倍。具体说，GPT-3 总共 1,750 亿参数，但它是稠密的，所以每个 token 所有参数都被激活。而 ML4 是稀疏专家混合，每个 token 激活的参数只有三分之一，也就是只有 520 亿，但总参数仍然是 1 万亿。你的 FLOPs 预算与激活参数的数量成正比，与训练时每个 token 激活多少参数成正比。这意味着你可以训大得多的模型、能力强得多的模型，而总 FLOPs 少得多。所以我引用的这个数，10 的 25 次方，它本身就是一个移动的靶子。我不会把它当成一个随时间不变的「有能力模型」的绝对门槛。一两年前，有些 10 的 25 次方做出来的模型差得多；我也会说，今天有些更大的模型同样差得多。随着预训练科学进步、我们学会更好地利用 FLOPs，这个数字本身会变。至少我们看到的是，眼下看其他开源实验室、看当下最好的模型，在 10 的 25 次方上训一个一万亿参数的模型，是一种你必须要走的成人礼，走了才有资格谈继续往上扩。

内森：我问，这么大一次训练开跑之后还剩多少不确定性，以及他们有没有中止过一次。他说跑到一半的时候，他们发现有问题，而那时一大半算力已经花掉了。

瓦兹：你另一个问题是，做完所有这些准备之后，真正开跑会发生什么。再说一次，每个做预训练的人都会给你讲同样的故事：预训练就像——你做完所有缩放律，你签下……像是在把一艘油轮对准航道，然后放手，让它自己漂，漂多久是你预算好的，而那一跑是巨额算力和资本开支。有时候一切顺利，loss 就按你预期下降；有时候路上有意外，你得有创造力，得找到创新的解法。所以我们得搞清楚怎么修。那是全员上手，做一堆消融、一堆分析，然后我们找到了办法。我们找到了一个补法，内部叫 Patchstral。它的效果比我们预期还好，结果就是今天你们看到的这个模型。而扩展算力的一部分，就是把「怎么更可靠地迭代这个过程」的骨架搭起来。

内森：萨加尔走后，普拉卡什又把话题拉回算力缺口。3,800 张卡，对面是前沿实验室的几十万张。

内森：是啊，我认为那是一个很难补上的赤字。我们在 Google 的语境下聊过这事几次：当你拥有全世界四分之一算力供给时，你错过一个周期还能想办法爬回马上来；这一周他们好像就做到了。我们几乎都没怎么谈 Carbon。就 Mistral 来说，确实像是有国家支持这一件大事。我真觉得，如果在一个纯资本主义的环境里错过一个模型周期，他们可能就完了。如果你只是靠追求回报的投资人来支持增长，在这个时点错过，可能是致命的。可信的主权 AI 选手并不多，字面意义上可能只有一个。所以在那个语境下，我认为这给了他们——它不能直接换算成算力，但我确实认为它至少换算成一个合理的预期：他们还会在，还能再打一天。因为有太多利益想看到这件事发生，我无法想象，即便一切都彻底失败，整个欧洲大陆就会说，好吧，我们从此是零了，接下来都是中国和美国——我不认为那会是一个可接受的答案。他提到 Llama 3，我查了，Llama 3 是 2024 年 7 月训练的，用了 3.8 乘 10 的 25 次方 FLOPs。所以两年多前的 Llama 3，输入算力接近今天 Mistral Large 4 的四倍。

内森：那是一个……我觉得从那一个统计数字里能拆出很多东西。

内森：第七段，开放模型不该知道的事。弗里曼走后，普拉卡什和我接着谈：一项能力到底能不能被关在模型外面。普拉卡什的论证从他对「五十美分大军」的说法开始——有人被付钱去把互联网上某些东西擦掉。

普拉卡什：所以为了让这些人明白他们该审查什么，他们得先教他们那件事是什么。最后是党组织给这些「五十美分」上课，教他们那件事是什么、审查时该找什么。我认为这对几乎所有 LLM 都大致成立：这些人想教它不要做什么，他们会具体地把这些行为拿掉。而 LLM 就会困惑：好吧，如果这些都是好行为，而每个好行为我都能找到反义词，那这个反义词就该落进那个解空间；而我该看到那个反义词的那个潜空间，并不存在。

内森：普拉卡什的结论是，你没法从潜空间里把一项能力刻出来。我的回答是——

内森：我对其中一些方向比较乐观，倒不一定是遗忘，而是……我今天早些时候刚录了一期节目，聊过这到底有多可行。当然控制有很多层次，但确实有一些努力，是在把某些新产生的生物数据锁起来，因为担心它们被用于训练会造出危险能力和模型；不是要从此对所有人关死，至少是按「了解你的客户」之类的方式管起来。目前做过的那几个实验——我指的是 ESM，还有 Arc Institute 和斯坦福等大合作出来的 Evo 系列模型——似乎说明：如果你确实把某些类别的数据挡在外面，你仍然能得到通用能力不错的模型，只是它不知道那些被审查的领域。所以我不太确定这条路一定不行。

内森：萨加尔上来之后，我把这个问题带给了他。

内森：不过先说，Mistral Large 4 是把网络防御当作重点之一做的，普拉卡什问这如何改变了训练。

瓦兹：网络能力和一般意义上的 agent 编码能力，通常是后训练阶段给模型的。今天我们聊的大部分是预训练，也就是开头花掉大比例 FLOPs 的那一段。

普拉卡什：对。

瓦兹：然后后训练才是你说「人们到底会拿这个模型做什么」的阶段，那时候你开始给它金融、法律、国防这些新能力。

瓦兹：今年早些时候，发生过一些事：一些非常强的模型对某些地区和某些企业限制访问。同时我们看到，这些很强的模型拥有惊人的网络能力，而这些能力经常被恶意行为者越狱用来渗透或暴露漏洞；合法的防守方——我们看到的不平衡是——他们想用同样的模型去补自己的漏洞，却发现请求被拒。因为实践中，出于很好的理由，闭源实验室要确保模型不被滥用，它们在底下放了分类器，用来区分恶意网络请求和普通请求。但不幸的是，实践中，如果你是防守方、要加固自己的基础设施，你的防守请求看起来和恶意请求非常像，因为你必须在自己代码库里找漏洞才能补上。所以我们认为，必须有一个开放权重的网络模型，能力与这些闭源模型相当，让企业能规模化地自保。

内森：普拉卡什提到，有人拿开放权重模型去做「消融」，把拒绝行为剥掉，用来发动网络攻击。他问 Mistral Large 4 发出来时是带护栏的，还是已经被拆掉护栏的。

瓦兹：是的。这一点我们在博客里谈过。我们相信开放，因为我们认为这对社会是净收益，对生态是净收益，而具体怎么平衡这个净收益，我们一直是动态处理的。实践中发生的是：我们清楚这些模型可能被滥用，所以我们会先评估，然后发布一个会拒绝最危险网络请求的 Mistral Large 4。同时我们与受信任的第三方——抱歉，是受信任的伙伴合作，让他们访问未拆护栏的模型，用来防守。这些人我们会审核，确认他们以我们认为负责任的方式使用。回到你这个问题的框架：一个开源模型——可能是 Mistral 的，也可能是别人的——上面有护栏，原则上这些护栏可以被恶意行为者越过，从而把能力解锁。这大概是那种情绪。我要指出的是，只要你能够访问模型，原则上这总是可能的，即便它在闭源 API 后面，因为无论你有没有权重，你都能越狱一个模型。所以这里我会考虑反事实：想象一个只有闭源模型的世界，越狱依然存在，依然有办法用它们公开发动攻击，那我们会在哪里？我们真的没有退路，因为同样的防守请求被同样的公司挡住；而如果没有开放权重模型，随着这些模型每一代都更强，我们真的没有可规模化的办法来防守自己的基础设施。所以我们理解风险，每次开源都会负责任地考量，非常仔细。但我们从根本上相信开放权重这条原则，也认为它在这个案例里同样适用，希望我刚才举的例子说明了这一点。

内森：然后我问了他一个我跟普拉卡什提过的办法：把危险的门道定位到专家混合模型里的少数几个专家，给这几个专家加上「了解你的客户」的检查，其余的全部发布。我问他看不看好。

瓦兹：看好。绝对。我认为这是一个科学问题，和训练模型时要回答的其他问题一样。如果我们想要的一个特性是：某些能力被压住，而所有能力仍然保持最先进水平——那本身就是一个科学问题。是的，你提到的一些方法很有意思，我们也在看类似的东西。这是一个活跃的研究领域，而且这项技术演进得非常快，不论闭源还是开源。我们必须在这些事情上保持动态。将来如果出现别的风险，我们也会相应地处理。但我们把它当成一个要解决的科学问题，而不是对开放权重这门生意运作方式的哲学挑战。

内森：像我这样最近大谈 AI 安全、并且愿意吞下不少子弹去防止一切彻底失控的人，很大一部分是长期的科技乐观主义者和自由至上主义者。我们过去说过「信息想要自由」之类的话，在精神上非常站在开源一边。这也是为什么我总在找技术解法，而不是尽可能去找政策或执法。

内森：后来在收尾的对话里，萨加尔走后，我又回到 Mistral 和开放发布这件事上。

内森：是啊，我想我应该再说一次：虽然我确实担心这一切失控，但我同时也非常在意权力集中的风险；我一点也没有轻视那里潜在的问题，也没有轻视人们在做开源、给大家提供可用选项时创造的价值。我真希望我们能把这些技术解法跑通。至于他们对这类事情到底有多紧迫，我希望是很高，因为我确实认为我们很快就会到一个时点：把这些东西直接放出去、把什么都扔进搅拌机、弹出什么就发什么丢给公众，会变得不可接受。ChinaTalk 的乔丹·施奈德在这个问题上对中国部分的看法转了很多。我不确定他之前的感受是什么，但最近我反复听他说：你不觉得用不了多久，中国政府就不会再允许这种随心所欲的开源了吗？到那时得有一套办法证明这确实没问题。我认为那几乎一定会来，而且可能相当快。但无论时间线如何，都不是很长，我们必须把这件事解决。没有它，看起来我们最后就没法有开源了。政府会很难容忍。

内森：普拉卡什的立场是：你拦不住任何人训练模型、也拦不住分发权重，所以唯一能设卡的地方是部署。他问，「扣住」到底怎么落地。

内森：到目前为止，我真的没看到任何东西证明遗忘能在深刻或成功的意义上成立，或者拒绝可以被做得极其可靠，或者防篡改真的能 work。如果你真把权重给了人，他们显然可以随意改权重。所以这条路在我看来并不特别有希望，虽然我随时乐意听到突破。但我觉得这和另一种方案相当不同——

内森：——一种让模型一开始就不学某些东西的方案。我真觉得这需要多得多的科学：不管把知识定位到特定专家，还是预训练阶段的过滤。当然有一种「银河大脑」式的说法：你有了一个完整的世界模型，里面有一个小缺口，你就能把它补上。我觉得这大概有点道理，但显然存在某个缺口，会大到让你没法用高分辨率补上危险的部分——那种真正能在现实里做坏事的细节。而这正是我认为富余算力可以非常有成效地用在前沿公司身上的地方：如果他们能说清，模型里必须留多大的知识缺口，才让它真的很难被补上，那会非常了不起。也就是说，模型不能靠洞察就补上；也不是多喂几篇边缘文档、做一点点训练就能补上——而我们现在看到的拒绝移除，一般而言只需要非常小、几乎可以忽略的额外训练。所以我很想更懂这些。是的，真有决心的人可以自建集群、自己收集生物数据集，在开放权重模型上做额外训练，造出危险的东西。大概某个时点这会发生，但那不只是需要几张 GPU，那是真正的工程投入，你需要多种专业知识；那些数据也没那么容易拿到，现在已经有一些动作在收拢这类数据，不让它随便散在互联网上。

内森：那天早上普拉卡什听到一个说法，说 Claude 拒绝帮忙复刻电子游戏。

普拉卡什：我担心的是，他们在惹毛玩家。你跟 Claude 说它不能帮你做这些游戏，你就是在自找麻烦。你惹的是技术上最能打的一群人，也是最有时间、最有热情的一群人。电子游戏这个行业本来就是玩家建起来的。约翰·卡马克就是个玩家。你告诉约翰·卡马克他不能做某件事，你就有麻烦了。

内森：我觉得这个比喻很贴切。我认为我们确实该非常小心把这些东西部署在哪里，因为我们不想把它们消耗在那些根本不重要的蠢事上。在所有失败的方式里，如果最后是这样一种，那就太蠢了：我们想保护某个 IP，于是加了这些护栏，结果同人社区太强，从上面翻过来，把我们的所有防护都打破了，现在一切失控；而这一切都是因为我们对根本不重要的事太严厉。这有点漫画化，但它基本上就是你讲的那个游戏故事。我能看到这在别的领域也发生，那真的会蠢得难以置信。所以我确实认为，我们得相当自律地决定要在多大程度上制造这些知识缺口或拒绝，因为每一个都可能动员起另一个社群来拆掉它。我也同意，你没法说服玩家说，嘿，因为你做这件事，会造成下游的另一个问题。祝你好运。这一仗你在 Discord 里赢不了。所以不如让他们玩去，然后我们把关键技术留在我们真正在意、真正必须有的地方。

内森：还有一段来自周五收尾、萨加尔刚走之后。Mistral 的技术报告，以及我凭记忆讲的一个 Claude 4 系统卡的故事。系统卡自己说的是：Anthropic 误漏了唯一包含有害 system prompt 的微调数据集，而且这并不是唯一的原因。

内森：所以我会非常有兴趣去读那份更公开的报告，看他们对所有技术细节到底有多开放。这类脚注在历次系统卡里出现过好几次。我一度特别着迷的一个是：Anthropic 忘了放进一个叫 sysprompt harmful 的数据集，它的作用是教模型不该直接听从有害的 system prompt。结果模型确实听从了有害 system prompt 的指令，而这件事一路留到了模型卡上。如果我们不回滚、不重新训练——不，我们只是想办法打上补丁。我一直很好奇这类东西实际是怎么运作的，以及我们该多信任它真的有效。

内森：这就是这一周。感谢收听 AI:AM 周度合辑。旁白是我的克隆声音。请告诉我们哪里好、哪里不好。

内森：早上见。

（片尾）如果你觉得这个节目有价值，希望你能花一点时间分享给朋友、发到网上、在 Apple Podcasts 或 Spotify 写个评价，或者就在 YouTube 留个评论。我们当然也欢迎反馈、嘉宾与选题建议、赞助咨询，可以通过我们的网站 cognitiverevolution.ai，或者在你常用的社交网络上私信我。《认知革命》属于 Turpentine Network，这个网络如今也并入了更大的技术、商业、经济、地缘政治与文化讨论社群。节目由 AI Podcasting 制作。