逐段要点整理
时间码为官方口径（56:00，十段章节的时间点只写在官方视频说明里）。2 主持是 a16z 普通合伙人埃里克·托伦伯格；三位出场者是 Box 联合创始人兼 CEO 亚伦·莱维、a16z 董事会合伙人史蒂文·西诺夫斯基，以及 a16z 普通合伙人马丁·卡萨多。3
这一期不是「管还是不管」的正反辩论，四个人其实在争同一件事：你现在想写的那条规则，对着的是一个已经发生过的事故，还是一份还没有名字的担心。下面凡是有官方文件或媒体报道能对上的，都标出来路；只在节目里说过的，写明是节目中的说法。
00:00 开场
冷开场先剪出四句。第一句是这一期真正的题眼：管得太早，你其实什么都没解决——风险还在，只是你更不懂这套系统了，你把那个东西「许愿」出来了，却还没学会怎么控制它。第二句给出一条裂缝：实验室和安全社区之间现在对不上话，社区看每一份事后报告都得出两个结论——草率，以及你没有把发生的事说完整。第三句是量级：一个员工说有 10% 的灭绝概率，而智能体群会把这个模型整个翻过来——它们就是一群漫游的无人机，再乘以一万倍，而且很容易把一件好事认成坏事。第四句是这一期另一个真问题：内部现在需要一整层新的东西，去盯住到底在发生哪些认证、哪些 API 调用。
埃里克把话头递出去的方式也很直白：这一期的题目是「你怎么给一个满是 AI 智能体的世界做安全」，但他先请亚伦谈谈 Pacing the Frontier 之后那场话语。1
00:50 Pacing the Frontier：对这场安全话语的反应
亚伦的开场是一分为二的：任何一家在前沿的 AI 实验室，现在都应该用尽可能安全的方式去建——尽可能高的治理与安全水平，不管你怎么定义对齐，这都是极其重要的研究方向，也是 AI 扩散的前提：没人会信任一个老是黑系统的东西。所以读到那份「放慢前沿」的东西时，他几乎每一条都同意——系统怎么更安全、怎么做沙箱、怎么做更好的测试。
他真正不安的是这份东西会被拿去干什么：被用来大幅放慢 AI（用监管让别家没法跟前沿实验室竞争），或者被政客接过去跑得更远——比如更快地把数据中心禁掉。他的原话是：文章本身非常合理，但气氛完全不对。4
接下来这几句是本期的火光：一份看起来像「温和投降」的东西，与手上的任务完全不匹配；它像是在向主张暂停的那一派人投降，同时还想让监管者满意——结果是两边都不满意。因为主张暂停的人会说「那根本不是暂停」，而监管者会说「你们还在做那件事」。
03:50 灭绝概率那件事：实验室自己信不信这套说法
这一段给出了本期最硬的一句反问：如果实验室里最懂这件事的那批人真信它有灭绝风险，那答案就是把它国有化，然后上我们已知有效的控制。马丁说这话有底气——他的第一份工作在劳伦斯利弗莫尔国家实验室，做的是核武器项目的仿真。5
反面也被他摆在桌上：如果私下里最清醒的那批人其实不信、信的只是一小部分，那这就是一个 HR 问题——担心招不到人、留不住人，本质上是研究者的「货币」。用这个理由去换一次国家级封锁，是错的理由。他还给了那句被反复引用的判词：讨论 x-risk 和这份提案，你没法把这两件事调和起来。
埃里克替另一边留了位置：行业里确实存在一种人——既真的害怕，又还在往前推，因为他相信这件事非做对不可。而在这个位置上，唯一在智识上诚实的官方立场，大概只能是 PR 版本：AI 有真实的风险，也有巨大的好处，我们在尽力把风险降到最低。四个人在「绝对风险」与「边际风险」之间来回切了一轮，落点是：一旦你说它是非零，唯一的答案就只剩国有化。
06:49 国有化的问题，以及安全到底该谁负责
顺着上一段落下来。BSL4 实验室本来就是国家级的；KYC 这类要求让银行「实际上」被国有化——法律上没写，但实际就是。马丁由此推了一步：也许实验室真正想要的结局，是像摩根大通、像 Verizon 那样——「我们是关键基础设施，我们被重度监管」。这对开源（至少前沿开源）不利，但确实是这个行业一种可能的下场。
亚伦在这一段的态度是乐观的：他认为实验室在往对的方向走，那份东西本身写得很好，他们知道这个张力存在、也会去调和；问题只是长得太快，还没搞懂这台机器怎么运转。而史蒂文补上了这一期最像「老手」的一句判断：技术行业在政治上一直是个新手——一百多年来，它在每一次技术浪潮上重学同一课。
11:32 「你在请我们管什么？」
这一段是从一句话开始的：有政府那边的人对科技行业说过「你们是在请我们管你们吗」，答案是「不」。四个人的共同判断是：技术行业上百年来一直看不懂监管气候，也驾驭不了它。AT&T 和 IBM 从出生起就带着政府垄断的血统，照样被反垄断诉讼、被结构性改变，哪怕 1960 年代就雇了几百个律师；微软的版本是 Bill Gates 和 Bill Clinton 打高尔夫，然后被这届政府告了。
史蒂文给的历史先例是他最熟的那个：红色恐慌里，好莱坞担心政府以性内容与成人题材为由审查电影，于是自己先抱团，成立了美国电影协会、做了分级制度——用自我监管换掉了外部监管。马丁把话接回金融：FINRA 是把风险国有化的一种写法——银行出钱养它，但它是强制的。
12:08 2028 是 AI 大选
这一章名义上只有 16 分钟，实际上装得最多。开头是政治判断：下一场大选百分之百是对 AI 的公投，2028 就是 AI 大选；可麻烦在于，支持 AI 的那个故事没人讲得了——它太模糊、太长、太防御。四个人给出一句自嘲式的诊断：我们手里一个词都没有。pause、swarm、rogue，每一个词都是不想做 AI 的人挑的，所以第一件要做的事反而变成了造新词、说别人的词是错的。
然后是为什么实验室不肯就 x-risk 表态：只要「10% 灭绝」这句话摆在桌上，而最顶尖公司的 CEO 说他同意，政府就不可能不理；这一步之后，方向就只剩更重的手。6
再往后是这一期真正的历史课，也是本期卡片那把「五格编号尺」的来源：我们所有人都在试着预测什么是坏的，这不是我们一贯的做法。互联网到这个时候，已经造成过数百亿美元量级的经济损失，蠕虫打掉过 10% 的基础设施，医院下过线——然后我们才开始立法。技术行业一百年来的先例是：AT&T、IBM、微软；好莱坞的 MPA；金融的 FINRA。
落点是那条最具体的：1986 年《计算机欺诈与滥用法》签下来，背后是一个非常具体的场景。1983 年两拨黑客闯进了 GTE Telenet；那一年没有可用的罪名，法案走了两年半才通过。被闯的是联邦系统——GTE Telenet 当时是 NASA、利弗莫尔和各实验室在用的——这就是它惊动华盛顿的原因。7
这一章的后半段回到当下：应用层的法大约已经有了 90%，模型层要不要加责任？以及那条裂缝——CMU 从 1980 年代起就做过结构化的漏洞报告流程（有义务、有格式），而今天没人用它做这类报告。史蒂文的判断很不客气：一份看起来像实习生写的、而且是有选择的记忆的事后报告——在那之前，他们不该开口。
28:39 网络安全这一行，为什么历史上总在拒绝能用的方案
这一段从一个老毛病说起：安全社区不喜欢能用的方案。你造了一个安全的系统，第一个反应是「万一有人能破掉加密呢」——像《碟中谍》。
第一个具体例子是 Noam Brown 那次访谈：一台机器可以用 CPU 的发热把信息传给另一台机器，气隙隔离不一定挡得住。8 有意思的是这次没有变成骂战——硬核系统的人开始认真算这条信道的比特率，实验室和安全社区第一次像在真的对话。
32:30 我见过的最疯的一条隐信道
这一章是史蒂文的主场，也是整套卡片里最具体的一段。他说自己工作过的地方保密级别高到你无法想象那些隐信道：
- 有人会走进办公室，量两台显示器之间的距离——因为 Tempest 攻击就是靠电磁辐射把信息漏出去；
- 从 BIOS 的扩频、从音箱都能漏——他们那栋楼有音箱对着窗户放音乐，只为了制造干扰；
- 最疯的一条是 CRT：夜里房间里最亮的其实是栅极光束所在的那一个像素；有人发现只要采样窗户的颜色就能重建屏幕，再有人发现只要控制三个像素就能把它们当信道发消息，看起来只是坏点，实际是一条相对高带宽的单向通信；
- 更早的版本在导弹工厂：他晚上要把键盘锁起来，因为不能让没有保密许可的清洁工走过时看出哪些键更脏。有一次他忘了，第二天收到安全部门的通知去领键盘——那是他大学在佛州奥兰多的 Martin Marietta 实习的时候。
马丁把这条线接到威胁模型上：NIST 有五百页的手册，不受信任的那一侧你假设它是个全知的预言机，问题是你能不能把信息从受信任的那一侧带出去。
紧接着是这一期最实用的一段：AI 真正改变的不是风险种类，是剂量。它能把上面所有这些事在一瞬间全试一遍，而且不会累、不会烦。你内部的 GitHub、Slack、报销系统，过去从没被人 DDoS 过——现在一群智能体的行为看起来和 DDoS 一模一样。信息安全过去是建立在「95% 到 99% 的人会做对的事」上的，一万个人里只有一个恶意员工；现在对面是一万个不知累的漫游无人机，还带着一张信用卡。亚伦的结论是：我们需要一套不同的访问与安全模型，现在的粒度不够。
48:38 语言模型是决策引擎，不是聊天机器人
最后一段是这一期最新的东西，也是「创新中心已经外移」那条判断的来源。
亚伦把过去几年描述成一次别扭的错配：语言模型是文本进、文本出，它们长在聊天里，是来跟人说话的；而我们花了几年时间，想把一个只会吐文本的东西塞进传统程序。史蒂文把这条路接到五十年前的计算机科学：语言模型作为决策引擎（而不是聊天机器人）的意义，是把概率重新放回 if 语句、while 循环——而那正是计算机科学在 1960 到 70 年代的主业，后来被会计和商业应用挤掉了。
马丁补了一条很少被说出口的观察：从来没有一份用户研究证明，用完整的自然语言和电脑交互是高效的——它几乎总是最低效的方式。
具体到产品，这一期点的是 Jev：一个拒绝写句子的模型。它来自 TypeSafe AI，创始人是 Diogo Almeida——在 OpenAI 参与做出过那套让语言模型能听指令的方法，也就是 ChatGPT 背后的研究。它自称「System One Model」，不生成字符串，只给类型化的概率决策；官方给出的数字是 193.6 倍更快、444.6 倍更便宜，端到端 70–500 毫秒。9
53:01 实验室为什么没做这件事：把模型当「存在」，还是当「工具」
收尾的问题被四个人讲成一句很轻的嘲讽：为什么实验室没做这件事？马丁的答案是——他们不是在造工具，他们在造存在；而存在是说话的，工具才需要接口。
也正是在这里，「中心已经外移」这句话才落地：平台一旦到临界规模，创新就不在平台层发生了；苹果社区给这件事起了个名字叫 sherlocking——外面做出来的东西，最后被平台收成一个功能。所以这一期真正的信号不是某个模型，而是终于有人发现，模型之外还有活要干——史蒂文把它归成一类：把这一切重新捡起来，是因为它本来就是计算机科学的老题目。
逐句全文翻译
底稿是官方视频的完整英文字幕（319 轮、11,984 词），专有名词与议程用 a16z 官方单集页、Dario 原文、TypeSafe AI 官方发布与官方视频说明核对后校正；下面按节目原始顺序逐句翻译，只保留中文译文，不保留英文原文，不压缩、不摘要、不删减。23
说话人标签由整集音频的声部分离与内容锚定逐轮判定：片头 / 埃里克 / 亚伦 / 马丁 / 史蒂文 / 片尾。同一说话人连续几轮合并为一段、只留一个标签；几人快速接话的极短应答处，归属仍可能偏一到两个回合；片头与片尾是节目包装，单独标注。
片头预告剪辑
片头：如果你太早去管 AI，你其实什么都没解决。风险最后还在原处。
片头：你把这个东西「许愿」出来了，却还没学会怎么控制它。
片头：我们现在的问题是实验室和安全社区之间这道裂缝：他们看每一份事后报告，都会得出两个结论——草率，以及你没有把发生的事说完整。
片头：有员工说有 10% 的概率物种灭绝。智能体群把这个模型完全翻了过来——它们就是一群漫游的无人机，只不过要乘以一万倍，而且它们很容易把一件好事认成坏事。
片头：所以现在内部需要一整层新的东西，去盯住到底在发生哪些认证、哪些 API 调用。美国大概十五年前就不再在技术反垄断上领跑了。问题是这件事会由欧洲来领，因为他们没有什么可失去的。这可能从根上改变软件的性质。创新的中心刚刚移动了。这就是那个信号——
开场：一句话把话头递出去
埃里克：各位，欢迎回到播客。
马丁：很高兴能来。
史蒂文：谢谢。
埃里克：你的胡子。
马丁：没想到我们还会再来一次。我都不敢信。太棒了。
史蒂文：我是说，马丁一直在建那些上千亿美元的公司，太忙了，顾不上这档播客。
马丁：至少要以风投的做派把功劳认领了。
埃里克：没错。今天我们有很多要谈的，但先看——亚伦，就从你开始吧？
埃里克：Pacing the Frontier。你对那件事、以及之后跟着的那场话语，是怎么反应、怎么想的？
Pacing the Frontier：一份可以同意的文章，一个不对劲的气氛
埃里克：天呐。我觉得这件事该让马丁先讲。他一直在打很多场很硬的阵地战。我大概只说一件我们都同意的事，然后我们再看会在哪里分岔。我想我们都同意，现在任何一家在前沿的 AI 实验室，都应该用尽可能安全的方式去建——尽可能高的治理与安全水平，不管你自己的「对齐」是怎么定义的，这都是极其重要的研究领域，也是 AI 扩散的关键：如果产品不能得到企业的信任、还老是在黑系统，你就根本谈不上 AI 的扩散。所以当我读到 Dario 那篇东西的时候，我其实几乎没有什么不同意的。因为它讲的都是怎么把这些系统做得更安全、怎么做沙箱、怎么做更好的测试。测试者本身嵌在哪一边会有些争论——你同不同意是这些人、整个行业是不是都认这一套——但我觉得它主要的每一条大概都是中肯、恰当的。剩下的唯一问题就是：这些东西会不会被拿去干一些我们并不同意的事？比如因为监管控制而把 AI 大幅放慢，让别家没法跟前沿实验室竞争；或者政客把那个信息接过去、跑得更远，甚至出现更坏的结果——比如它被用去更快地禁掉数据中心。所以这个话题本身的实质极其重要，对 AI 的整体推进也很重要；接下来才是那个问题：你拿它怎么办，尤其是从监管的角度怎么办。而这大概正是行业会落在一条连续谱上非常不同位置的地方——马丁之前在这里打了一场很好的仗，就是「别让这件事变成监管俘获」。这一点我也同意。但我认为 pacing 那场对话里的想法是重要的。再说一次，这个词本身就有点好笑，因为它可能不是「放慢」，而只是「做好卫生」，然后是好的工程。有了好的工程，当然会有轻微的变慢；但这种变慢恰恰能让你的扩散加速——如果没人敢用，你根本没法扩散。所以那篇文章是非常合理的，但气氛不对。有员工说这会有 10% 的概率灭绝物种，而你知道 Dario 怎么说——
马丁：我对他的同意多于不同意，对吧。
马丁：上电视，就在他把那些东西放出来的同一天上了电视。所以某种程度上你没法把这两场对话分开看——如果他要去同意「物种灭绝」这个说法。
马丁：而他发出去的这篇东西，看起来像一次「温和的投降」，与手上的任务完全不相称。所以我认为气氛彻底坏了。我的很多评论都是对着那个气氛的。
马丁：然后我有一个小意见，但它真的很困扰我——因为我很在意这个，那就是——
马丁：我觉得「pacing」这个词完全是错的描述方式。第一，它跟安全其实是正交的。
埃里克：嗯。
马丁：是。你可以非常慢地造一枚核弹，但「慢」本身不会让任何人更安心。这是第一。第二，它感觉像是在向主张暂停的那一批人投降，却又没有真的回应他们。等于你在说：好，我们不暂停，我们「pacing」，好让他们高兴，同时也让监管者高兴。而我觉得结果是两边都不高兴。
马丁：因为主张暂停的人会说：那根本不是暂停，那只是放慢。而监管者会说：你们还在做那件事。
马丁：对吧？
马丁：所以我只是觉得他们在……我的感觉是，实验室其实是在努力做对的事，这一点我要鼓掌。我认为这是一份务实的提案，我为此鼓掌。我认为问题出在传达上，因为他们想在一个内部的边缘派别——末日派、暂停派——和另一头的监管者之间取中间值；问题是他们让两边都不高兴。我认为他们该做的是站出来，直接回应 x-risk 那个问题。
马丁：他们得说出来：不，我们不认为我们要做的事会导致灭绝。然后这件事就变成一份非常有道理的东西了。
马丁：那你会怎么做？就站到对面去一秒——你会怎么做？你会给那张可能的韦恩图留位置吗：实验室里那位研究者，同时极度害怕，又在推进 AI 的技术前沿，因为他相信这件事非做对不可，所以才要做下去。现在的语言确实很成问题，但那个人是存在的，那是我们行业里真实的一种人——「我们必须站在 AI 的最前沿，同时我也非常害怕它，这正是我做这件事的原因」。
劳伦斯利弗莫尔：如果真信，就该把它国有化
马丁：那让我直接回应这个。我以前在劳伦斯利弗莫尔国家实验室做过武器项目，核武器。我知道在那种地方工作、做有权限的东西是什么感觉。
马丁：你是最早那批「放慢的人」。
马丁：我们是最早那批放慢的人之一。所以如果实验室里最懂这件事的那批人——最懂的那些人——相信这东西有灭绝风险，
马丁：对。
马丁：那答案就是把它国有化，然后上我们已知有效的控制。
马丁：但反过来，如果他们其实并不相信——而在我私下聊过的那些人里，最清醒的那些人是不信的，信的只是一小部分——那这就是一个 HR 问题。
马丁：对吧？对我来说，HR 问题就是公司问题。如果他们担心的是招不到人，
马丁：对。
马丁：或者留不住人——在我看来这里面很多就是那个担心——那这就更像是研究者之间的一种「货币」。
马丁：如果真是那样，我认为那是对一个很有前途的技术下国家级封锁的错误理由。所以听着：那篇东西，我再说一次，其实非常合理；安全方面的担心是真实的，我们已经经历过好几个真正有安全问题的算力时代。但我不认为你能把 x-risk 的讨论和那份提案调和起来。你就是没办法把这两件事调和起来，这一直是我最主要的意见。
埃里克：对。对。好。解开它。好。
马丁：把它按住。
pacing versus what：没有公布的进度表
埃里克：好，那第一件事是：你能不……他们有没有公布过一份时间表，说这些坏东西会在什么时候发生？他们没有。所以你没法定这个速度，因为没有人知道它原本该在什么时候完成。第二，这件事看起来就是虚的。这就像媒体报道苹果最新的 iPhone 迟到了——
埃里克：那台手机，谁也不知道它存在，他们也没告诉过任何人。
史蒂文：对。我的苹果汽车就「迟到」得很厉害。
埃里克：是啊。我不理解。你要说一样东西变慢了，你得先知道它原本在什么速度上跑。所以这真的就是完全说不通，你逃不开这一点。然后——
马丁：顺便说，这是另一个问题——还是回到我那个关于公关的小意见——反正也没人信，对吧？所以如果那就是你要挂上去的东西，那个 pacing——
马丁：要放慢哪一部分？
马丁：就是他们要「放慢」。他们一直在全速跑。他们融的钱比以往任何时候都多，长得比以往任何时候都快。没有任何迹象说明他们在放慢。所以如果这是你要挂上去的东西——
史蒂文：我明白。我明白。那个内部的问题显然是：所有人内部手上的模型，远超外部任何人能拿到的。所以真正能「pacing」的其实只是对外发布的那一档。但再说回你的点：pacing，跟什么比？
马丁：对吧？我们不知道那个把所有人吓到的东西，是不是连一份法律文书都做不好。它可能把那些东西全搞砸，谁知道呢。所以还有这一层。
马丁：而这恰恰就是——说自己在 pacing 这件事本身就是虚的。第二，他们为什么非要把这一切都宣布出来，还要请政府来叫他们放慢？就是这一步开始让人发毛：如果你最害怕的就是自己的产品会把一切带向坏结局，那就停下来。
埃里克：别做。
导弹工厂，与「政府是一台妥协机器」
史蒂文：就像我……我大学的时候在一个导弹工厂干过，那里有核导弹，我在厂房里走过。
埃里克：你们这些人怎么都跟导弹有关系？我只是做软件的。
史蒂文：你大学里属于两种人里的一种——要么你去抗议、不让它们进校园，
史蒂文：要么你去造它们。你得选一个。我们那边，天主教的修女会跑来、往我们的导弹上浇血。而我忙的是推着小车搬运电脑，说「这是安全电脑」，同时害怕自己会死，完全不知道在发生什么。后来我才知道，那就是一枚核导弹——而你会发现，正是那个东西终结了冷战。字面意义上，那是潘兴导弹，就是它干成的。但你说了一句我觉得特别有意思的话，就是 pacing 这个词处在「走」和「不走」之间的那种含混里。是啊。问题就在这——你说得对，没有人会对中间那条路满意。
史蒂文：所以我在旁边看这些人，几乎像看一项运动。他们以为，所有这些对政府说「做这个」「别做那个」的人，都能得到自己想要的。而这是对政府运转方式百分之百的误解。你去跟政府讲的时候，他们其实知道这些事是怎么运转的；他们只是在听你、同时也在听所有人。没有人会得到自己想要的，因为他们知道，在我们这个体系里，要做成任何事，都是妥协。所以所有输入都能进到政府里，而输出——
史蒂文：从来不会让所有人满意，对吧？百分之百，要么不够远，要么远远过头。
埃里克：对。
史蒂文：所以你不能抱着那种想法，以为去跟政府谈、就能谈出你想要的那个方案。底线是：如果他们要的是 pacing，他们得到的就是错的速度。我最喜欢的一个例子是——那是什么来着？戴维·萨克斯，我想是戴维·萨克斯说的——政府那边有人问：「你们是在请我们管你们吗？」不。是 Facebook。答案是「不」。
马丁：但是，那个……
史蒂文：我觉得大概就是特朗普了，不过——
史蒂文：他们现在知道、而你只能从经验里学到的这件事是：
史蒂文：监管的轮子一旦开始转，
史蒂文：你就没法让它慢下来。
2028 是 AI 大选，而我们手里一个词都没有
史蒂文：而它现在已经是每一个层级、每一个辖区里、每一个党派的选举议题了。所以现在有了这一整——
史蒂文：这一整篮子的监管路径。
史蒂文：下一场大选百分之百是对 AI 的一次公投。所以它必然会发生——2028 就是 AI 大选。你基本可以靠……麻烦在于，不太明显谁能在「支持 AI」的那套叙事上竞选，因为那个故事太模糊，讲不清。于是它就变成「你打算管多严」的连续刻度，或者至少尽量回避这个话题。是啊。但很糟糕的是，我们作为一个国家，现在处在这个位置：支持 AI 的那套说法听起来太长、太细，它是防守性的。
史蒂文：对，它是防守性的。
史蒂文：它是防守性的，而且我们手里一个词都没有。
史蒂文：对吧？所以整场辩论就是 pause、是 swarm、是 rogue。每一个词都是不想做 AI 的那些人挑的。
史蒂文：是啊。所以第一件要做的事，反而是造新词、然后说他们的词是错的——而这要花掉太多话。
史蒂文：是啊。所以得出现「工会岗位」、得出现「癌症」这类词。我们需要另一片词云长出来。
10% 那件事：为什么实验室不肯表态
马丁：我不明白的是，为什么实验室还没有就 x-risk 表明立场。不把那件事说清楚，我看这件事只会往一个方向走，就是重手监管。
马丁：是啊。因为政府要是说「有 10% 的概率物种灭绝，而最顶尖公司的 CEO 说他同意这句话」，那才叫失职。政府怎么可能不做？他们怎么会不去管？
马丁：可是，谁真的了解这个生态呢——我不确定你能从任何人嘴里逼出一个数字，除了某种说法之外。
马丁：不，我会说 Dario 说过。
马丁：不，我的意思是，你没法把任何人按到某个更低的数字上。事实上他做的是最糟的那件事：他去同意那些声称有百分之多少灭绝概率的人，
马丁：但他又特意绕开说：「我不打算给一个百分比。」
马丁：我就觉得这是最奇怪的。
马丁：不，但公平一点说，公平一点说。
马丁：不。
马丁：好吧，没人能做到公平。公平一点说，那不像百分之百是虚的——他大概并不真的具体同意是 10%。又或者他真的同意，只是说出口太吓人了。
马丁：那就来做个二分查找吧。比那个数字高，还是低？
马丁：但整件事本来就是被造出来的概念，是我们自己弄出来的。没有人真的能把它量化。
埃里克：嗯，但那差不多就是马丁的意思。
史蒂文：可你总得有一个官方立场。你能拿到的那份官方立场，大概只能是这个的公关版本——那才是唯一在智识上诚实的：
史蒂文：AI 有真实的风险，同时也有极其正面的好处；我们正在努力缓解风险，让它们尽可能被降到最低。
史蒂文：我不认为那是……我不认为那样说得通。听着，那你觉得——
史蒂文：我们经历过好几个技术纪元了。计算机、互联网、万维网、社交网络。我们讨论风险的时候都没有谈 x-risk，对吧？比如有一句话你可以说：我们不认为物种灭绝的边际风险跟它（以前）不一样。
史蒂文：可是如果他们就是认为它更高呢？
史蒂文：那我们就该……好。好。对。我想答案是：他们确实认为它比「又一个互联网」要高。
史蒂文：只有两个选项。你要么相信我们会灭绝，然后把它全部关掉——真的关掉；要么——
马丁：要么你相信这只是一个概率。
马丁：说话啊。Dario 觉得比那低，但这些冷战老手——没人像五角大楼那样。
马丁：他们为核战争的概率跑过很多模拟。有部很好的电影《战争游戏》讲的就是这件事。但那件事本身就是非零的。
马丁：对。而一旦你说它是——
马丁：他们能说「非零」吗？那被允许吗？
马丁：我觉得只要你认为它是非零——
马丁：问题是，如果你说非零，那可能意味着——那哥们觉得是 93%。但我们等一等，为了大家在一个干净的语境里讨论，我们说这是边际风险。我们不是在谈绝对风险，对吧？好。
马丁：只是我觉得，一旦你说它是非零，在那种灾难性的层面上，唯一的答案就是你得把它国有化。
马丁：对。所以他想做的是——有那种看法的实验室总体上想做的——他们想让它是非零，把它当成一张许可证：可以去做某一套事情，却不必背上「变成一个国家级项目」的负担。
国有化、BSL4，与「别拿物种灭绝当理由」
马丁：那你知道……我并不清楚所有先例，你应该更清楚。但一定有一些东西是非零风险的——比如某种 x 风险——并没有被特别国有化，但它周围的监管环境重到实际上就等于国有化，因为 KYC 这类要求：比如你要培养炭疽，就得去特定类型的实验室。
马丁：嗯，BSL4 实验室，但它们是国有化的。它们是国家的。好，但——
马丁：伦理这块往往是国家的。对。
马丁：是这样。
马丁：普通的人类安全就不那么是了。对。行业监督随时间变成了联邦监管。
马丁：对。而这个演进——我认为它对这场讨论极其重要——是二战后以来，凡是关键基础设施：电力、银行、医疗，趋势基本上都是被国有化。就靠你举的 KYC 那一类和别的那些东西。银行实际上就是被国有化了，在金融危机之后。
马丁：好，但你说的是「实际上」。字面上它们没有国有化，对吧？所以也许——但这种可能正是实验室的意图：看起来像摩根大通、像 Verizon，然后说「我们是关键基础设施，我们被重度监管」。这对开源、至少对前沿开源不利，但它确实是这个行业一种可能的下场。对创新不利才是问题。
马丁：我觉得就算那样也行，只是别拿物种灭绝当理由——那字面上是「困在实验室里的东西」和另一种东西之间的区别。让我说一句：我其实觉得实验室在往对的方向走。我其实觉得那份声明写得很好。在我跟那些高管、领导者的交流里，他们明白自己身上有这个张力，也打算去调和它。所以我其实挺乐观的：实验室既在做对的事，也在努力做对的事。我只是觉得它长得太快了，还在搞懂这台机器怎么运转。而我认为西诺夫斯基一语中的。
技术行业一百年没学会的那一课
史蒂文：政治过程是它自己的一套东西。我不知道这是天真还是傲慢，但我就是觉得他们不太知道怎么在里面走。
史蒂文：嗯，我觉得技术行业——
史蒂文：一百多年来，一直在每一次技术浪潮上重学同一课：
史蒂文：我们看不懂监管气候，也驾驭不了它。就连 AT&T 和 IBM 这种一开始基本就是政府垄断里长出来的公司，也没搞明白。两家都被反垄断起诉，两家都因此被实质性地、结构性地改变，哪怕它们 1960 年代就雇了几百个律师替自己导航。然后微软来了，反应就是「什么？」对，我们完全不知道自己在遭遇什么。Bill Gates 跟 Bill Clinton 一起打高尔夫，然后被这届政府告了反垄断；Bill 的反应是「我明明在打高尔夫，照片都在这儿」——而那没用。不就是这样吗，我该做的难道不就是去打高尔夫？这是整件事的缩写版。但我认为，而且我认为这只是——
史蒂文：我一直用这个例子：好莱坞在红色恐慌里抱了团。当时他们担心政府以性内容、以成人题材为由审查电影，就全部聚到一起。他们当然知道自己真打官司打不赢，但那个威胁是真的，于是他们聚起来，成立了美国电影协会。
史蒂文：对，还有电影分级那一套，他们自我监管。
埃里克：那你们喜欢那种吗？你们喜欢 FINRA 那个方案吗？
史蒂文：不喜欢。因为 FINRA 是——那是你能拿到的最接近美国电影协会的东西，只是更多。
史蒂文：不，不是。因为 FINRA 会变成立法，而立法带着直接监督。
史蒂文：对，我觉得电影协会在社会怎么运转上大概没那么多后果，第一修正案。
史蒂文：对。嗯。
史蒂文：我赢下那一局了吗？没有。我首先说，太精彩了。但我还是不确定你要不要它。比如我同意言论非常重要，可是我只是觉得——
史蒂文：当时没有社会层面的风险。
史蒂文：我只是觉得，我们电影里放什么，我们活得下去，那大概是在另一条连续谱上——
史蒂文：所有这些——每一次历史都是相对的。在当时，被当成共产主义者是非常糟的一件事，三成的好莱坞人因此被解雇，就是这些事。所以用这种类比总是有风险，因为它听起来很蠢。没有人会去想电影分级，而那是因为它基本上被判定为无法用宪法强制。所以他们没法在有限电视上管它，于是我们才长出了 HBO 和别的那一堆。
史蒂文：但 FINRA 的问题在于，它是一个把风险国有化的完美例子。
史蒂文：对。因为虽然银行都往里出钱、它也是这么运转的，但那全都是强制的。
埃里克：好。等一下，抱歉。你觉得我们最后会落在一个比 FINRA 更好的处境里吗？FINRA 看起来已经是最好的情形了，而它就是最好的情形，
马丁：但现在已经不是了。我真的觉得这项技术，到了极限上，相对于它能交付的东西，实在是——太强了，国会最终不可能不去管它。这件事不可能不发生。问题是，什么时候——
马丁：如果它最终开始给你医疗过程里的每一条建议，如果它作为开放权重模型装进你的医疗设备里，如果它跑在每一套高频交易系统里、跑在飞机上，那政府不可能不说「我们需要某种像 FINRA 那样的东西」。而 FINRA 大概就是那个样子里最好的情形了。对。
马丁：对。所以现在那绝对是最关键的一点：现在在参议院的那些人，当年《通信法》通过的时候他们也在参议院——而责任没有被穿透到 ISP 和社交网络那一层。他们当时坐在那儿辩论的原话是「互联网那么大，我们怎么跟它一点关系都没有」。Al Gore 因为说「我创造了互联网」被骂得很惨，正是因为他是真的想抢在所有人前面说：不，政府在其中有作用。结果全都反噬了，因为那让他看起来像个疯子。但事实绝对是：他们觉得自己错过了在互联网上占住位置的机会。
史蒂文：而 Al Gore 站在了创新那一边。
史蒂文：那是他们当时的说法。所以谁是 AI 的戈尔？
史蒂文：没有。有那么一两个——嗯，贝森特看起来是。国防那一派想要它「私有、但也不完全是」，这跟他们在互联网上的位置一模一样。
史蒂文：所以很有意思。
史蒂文：这里面很多就是——伊丽莎白·沃伦参议员的推文全都在说「我们在社交网络那一次错过了」。
史蒂文：积压起来、对着科技行业的火气，现在可能正好全部灌进 AI 里。
史蒂文：就是这个。正在发生的就是这件事。
我们靠具体的数据点立法
埃里克：对。我觉得还有另一个问题：我们所有人都在试着预测什么是坏的，而这不是我们一贯的做法。互联网到那个时点，我们已经损失了数百亿美元量级的东西——我们已经造成了数百亿美元量级的经济损失。我们有过一些蠕虫，一下打掉 10% 的基础设施。
史蒂文：对。
史蒂文：那是跑着关键基础设施的互联网基础设施。我们的医院下过线。
史蒂文：我们真的应该在 1997 年前后就把互联网封掉。
史蒂文：那我们怎么……对。对。好。所以我们有过——我记得你在那个年代会买一张 Windows 95 的光盘，等它装完的时候，
史蒂文：你可能就已经中了一个蠕虫。
史蒂文：干得好，史蒂文。
史蒂文：不不，这就是现实。一直到 2001 年，PC 的现实就是：你没法把一台 PC 连上网络装系统而不被感染。病毒到处都是。
史蒂文：而在那段时间里，有过两轮国会听证。所有那些——
史蒂文：这其实——好。好。我承认这一点很有意思：如果是 1994 年那种时代精神，我们大概不会有今天的互联网。
史蒂文：听着，听着。我是说汽车行业、航空业，你总会有这种「换牙期」，你在里面了解危险，也了解技术本身。而互联网，我们是在最底层。
史蒂文：东西一直在挂。经济损伤一直有。新的病毒、新的蠕虫到处都是。
史蒂文：Y2K。Y2K 本来会摧毁一切。
史蒂文：但这件事有意思的地方在这里。
史蒂文：但我只想说：我们后来真的立了很多政策，而那些政策是带着一堆非常具体的数据点立的，所以条文对得上事实模式。而这件事——即使你在讲的时候，你也在说「万一这个、万一那个」。预测式的安全风险政策非常难做。好的是，围绕它的那场话语正在长出来：你会听到实验室的人说「这是一种新型的网络安全风险，这是个工程问题」。所以当它越来越围绕真实、已被识别的风险变得具体，我想我们都能对得上。但那不是到今天为止的讨论。那是非常——
1986 年那部法：先有 1983 年的 GTE Telenet
史蒂文：完美，完美的一点。因为你看 1986 年，《计算机欺诈与滥用法》签下来了。它出自一个非常非常具体的场景：两拨黑客闯进了 GTE Telenet。
史蒂文：当然，那不是你。
史蒂文：是另一个人。
史蒂文：哦，他后来在思科工作。而且——
史蒂文：问题在于，那是 1983 年，而当时没有对应的罪名。
史蒂文：法案花了两年半
史蒂文：才通过。这让它写得非常非常具体。就是那部法说：你不能访问未经授权的计算机系统。所以我想我们都同意，在应用层我们大概已经有了 90% 的法——你不能黑系统，等等。那在模型层，你觉得有没有什么应该从责任的角度加进去？当然到那时候——
史蒂文：你怎么把一项技术「合法化」？
史蒂文：不，法律……我对 Hugging Face 与 OpenAI 那次事件的读法是：那从条文上看绝对是明明白白的计算机犯罪，唯一的例外是后来打了补丁——如果你是白帽，那就不再违法。那是因为人们一直在犯错，
史蒂文：而他们不想到处去逮捕那些真心想把系统做得更好、只是搞砸了的人。所以司法部写了一份备忘录说：我们不会因为这个起诉；我们也不会仅仅因为违反了某个系统的使用条款就去起诉，
史蒂文：那和真的试图入侵它是两回事。
史蒂文：所以我认为对这场景来说，法已经够用了。而且那些条文都是围绕 GTE Telenet 写的——它是 NASA、利弗莫尔和各个实验室在用的，所以它才会惊动华盛顿，因为被闯的是联邦系统。而我们现在的问题是这个裂缝：实验室和安全社区之间，社区看他们的每一份事后报告，都会得出两个结论——草率，
史蒂文：以及你没有把发生的事说完整。
史蒂文：当然，CERT/CC 那套流程是 1980 年代长出来的，来自卡内基梅隆的计算机病毒与漏洞报告那套东西。那么多年里，他们做出了非常有结构的报告方式，有义务、有格式——而不知为什么，今天做这类报告的人一个都没用。
史蒂文：所以我看到的就是这些非常基础的东西：在他们把这些做完之前，他们其实应该先别说话——不该对一次入侵做那种事后报告，
史蒂文：那种报告看起来像实习生写的；那不是事后报告，看起来就是有选择的记忆。
史蒂文：正是你雇外部律师去查一件随便什么事情、而且只给他们一部分材料时，做出来的那种事后报告。
史蒂文：因为你并不需要把发生过的所有信息都给你雇的律师。
安全社区不喜欢能用的方案：Noam Brown 与散热信道
史蒂文：比如：那些 Slack 消息在哪？实际发生的细节在哪？我能插一句很烦人的题外话吗——不，不，这句很好，它很贴这件事——我在安全圈，准确的说是真正的网络安全社区里待过很长时间。这个群体一直是这样：他们就是不喜欢能用的方案。
史蒂文：比如「万一有人能破掉加密呢」，像拉塞尔·克劳那样。
史蒂文：那是《碟中谍》。总有那么
史蒂文：一帮人，总会有这一类东西。所以最近我最喜欢的一件事，是 Noam Brown 在某个播客上——
史蒂文：哦，你不喜欢那一期。
史蒂文：不，那一期很棒。
史蒂文：我觉得挺有意思的。
埃里克：不，那一期非常好。不，我是在铺垫。对。
马丁：所以 Noam Brown 说的是：你不知道一个超级智能能做什么。它也许可以用 CPU 的热量，把自己外泄到另一台电脑上。这让我想起——我现在很自在，我可以就这件事进行无穷无尽的、没有意义的讨论。但有意思的是：你有 x-risk 那一方说出一件他们认为合理的事，然后你有安全圈的人在那边无止境地讨论。所以我觉得在某个层面上——
马丁：现在这两个社区正在被打通。我其实觉得 Noam 说那件事非常合理，你可以去挑漏洞，但我们都会在播客上说些奇怪的话。我其实觉得外泄这条风险是真的。我以前在高度保密的计算环境里工作过，那些隐信道你根本想象不到。所以那些话是非常真实的评论，但我们真的开始有了一场真正的讨论——那是我第一次看到硬核的系统派人士，进行一场相当——我会说是建设性的——
马丁：去算比特率，而且
马丁：对，那很棒，那是一场建设性的讨论。当然里面也有那些典型的过于热情的人在掺和，而且因为是在推特上，所以有很多骂人、这个那个；但那是我第一次觉得那是一场真的讨论。所以我希望看到更多。我希望看到更多
马丁：嗯
马丁：跟网络相关的讨论。我觉得实验室应该多谈这些。我觉得那会把社区 engage 进来，而一旦那发生，我们就能——
马丁：真的。Greg 在这个话题上露面多得多。这是好事。但我的结论是：Noam Brown 应该多做几场播客上的头脑风暴。
马丁：我觉得它其实是打开了人们的眼睛，让人看到安全里有很多大多数人不理解的风险。对。而这意味着，有些东西你没法当成基线风险一笔带过——比如你的认证层到底怎么工作。你不能手一挥说那个应该消失，然后搬出「可外星人会入侵啊」；那差不多就是当时让我不舒服的那一部分。但我怎么看那个「热量」那件事：至少我们现在在一个我们熟悉的领域里——我可以谈熵，我们可以真的做一场具体的讨论，而不是「反正它超级强」。至少我们把它还原成了物理定律和系统定律。而且大多数人，我会说大多数人根本不知道那种风险是真实存在的。
五百页的 NIST 手册，与「不受信任的那一侧」
马丁：我以前在潘兴导弹旁边走的时候，真的要去测显卡和 PC，因为国防部有一条要求：断电之后屏幕内存不能保持，但不能有一点点保持——电源一断，那个影像就必须消失。如果有三秒的延迟，
马丁：对。
马丁：哦，你就可以读出来。哦，你看，我们当年有人会走进我们的办公室，字面意义上量两台显示器之间的距离，因为 Tempest 攻击——那百分之百是一种用电磁辐射把信息漏出去的方法。我在 BIOS 的扩频上见过同一件事，我在音箱上也见过——我们把音箱都拆掉了，因为它是一条非常好的信道。
马丁：我们的大楼——我们的大楼有音箱对着窗户，
马丁：就为了制造干扰。
埃里克：你真该去这些实验室里做一次安全负责人。我从没见你对「基于热量的通信」这么兴奋过。
马丁：我能跟你说我见过的最疯的一条隐信道吗？你还记得老式的——我知道这是我的一个——
马丁：我很高兴有人比我老。也不是真的，只是演得像。
马丁：那好，你还记得老式 CRT 吗？结果是：比如现在是夜里，你在房间里用一台 CRT 终端——房间里最亮的东西其实不是显示器的辉光，而是栅极光束此刻所在的那一个像素。嗯。
马丁：所以有人发现了这个：比如你在酒店房间里上网，如果你有一样东西能采样窗户的颜色，你就能重建那块屏幕。
马丁：哦，那太疯了，
马丁：对吧？你只要用栅极光束移动的同一个赫兹频率去采样就行。然后又有人发现，如果你能控制三个像素——看起来只是坏点——你就可以用它们来发消息。所以你可以坐到外面某个地方采样，然后就能……那是一条相对高带宽的单向通信。所以 Noam 说的也许不是散热那条路，但那个级别的诡计是真实存在的，那是真事。
史蒂文：我在导弹工厂的时候，得把键盘锁起来。那是个很不礼貌的词，但我们就是这么叫的。我晚上得把键盘锁起来，因为他们不想让没有保密许可的保洁人员走过时，从哪些键更脏、哪些键更干净里看出什么。我有一次忘了锁，然后就有一张来自安全部门的便条，
史蒂文：让我去安全部门领我的键盘。
史蒂文：走廊里巡查的警卫，就在那天晚上把键盘从我机器上取走了。而我当时根本没拿到保密许可，我只是——你知道，我就那么敏感。我什么都不是，我是个实习生。
史蒂文：这段对话最大的问题是：它现在全都在未来每一个 AI 模型的训练数据里了。所以
史蒂文：但那也正是——但那也正是这些系统的威胁模型：你总有一侧受信任、一侧不受信任。NIST 有五百页的手册：对不受信任的那一侧，你假设它基本是一个能做任何事、能知道任何事的预言机；然后问题就变成，你能不能把信息从受信任的那一侧带出去。顺便说，这正是 Noam 在说的事，而那件事其实相当合理。
它不会累：智能体把安全问题换了一个量级
史蒂文：这确实引出一个超级有意思的点，我要把它接到下一件事上：我觉得人们真正没有转过弯来、而且用的语言特别混乱的地方，就是 AI 能做的是它可以在极短的时间里把所有那些事都试一遍。
埃里克：对。
亚伦：对。而且它不会累，不会无聊。但有意思的是，现在有一整层安全你必须回去看——你网络上内部跑的每一个 API、每一个服务。没有人会觉得他们内部的 GitHub、内部的 Slack、内部的报销工具会被拒绝服务攻击，但智能体群
亚伦：做的行为，字面意义上看起来就像一次拒绝服务攻击。
亚伦：对。所以现在内部需要一整层新的东西，去盯住到底在发生哪些认证、哪些 API 调用。对。
亚伦：而这从现在起只是基本功。那些不在现场的老同事都在给我发消息问：我们为什么要跟大家解释这些？因为这是最基础的东西——因为以前内部根本没人做。
亚伦：对。
亚伦：而
亚伦：嗯，你以前不必为「你的人」担心这些，那就是关键——
亚伦：但现在你的「人」只是一段软件。
亚伦：对，而且是无限的，而且
亚伦：它有一张信用卡。
亚伦：对。我是说，我们过去某种程度上是靠一个事实撑起了信息安全：绝大多数人、绝大多数时候会做对的事，95% 到 99%。
亚伦：哦，等等。也就是说恶意员工大概是万分之一？
亚伦：对。对。对。对。所以所有这些系统基本上是对任何想访问的人开放的，或者只需要有人在肩膀上拍一下，你就有访问权了。而智能体群
亚伦：把这个完全翻了过来，因为它们就是一群漫游的无人机。对。而且是要乘以一万倍，而且它们很容易
亚伦：把一件好事认成坏事，反过来也一样。所以我们系统里的数据安全——这会是一个巨大的升级时刻。马丁，我真的觉得我们需要一套不同的访问与安全模型。对，往前走。
这句话本来应该这么说：先识别风险，再谈方案
马丁：我们要往哪儿走？因为我们现在这套模型既不颗粒化，也扛不住这些东西。所以我想往回退一步，说一个元层面的点：我觉得这类对话就应该这么进行。我们识别出了一个新型风险，就是网络安全，我们手上确实有证据点，然后我们开始谈方案。我觉得围绕 AI 的整场话语都可以是这种形状。而最大的错误就是——它不是这样。
马丁：我觉得整个行业和社区都非常愿意就照这个方式 engage，对你在问的问题我也有话想说。我想说，这才是这场对话应该在的位置。所以
马丁：我们以进行健康的对话著称，所有人都应该学习。所以我们就是这么做的。那好，事情是这样的：我不认为这里有什么技术限制。这些威胁模型非常成熟，在文献里躺了很长时间——操作系统的研究、MLS、多级安全的研究，早就从学术的视角考虑过这些东西。它没被采用，原因一直只是可用性的问题：它太难维护，而你当年不必付这个代价。所以你甚至可以说，AI 恰好解决了可用性的问题，因为用它的人是 AI。所以也许现在会是操作系统、网络和计算机语言的一次复兴，我们应该回去翻那些老研究，开始重建「设计上就是安全的」系统。而且顺便说，如果我们认为把这些东西放出去不安全，那就在这些系统造出来之前不放。而顺便再说一句，AI 很聪明，它可以帮我们把它造出来。所以我认为，再一次——计算机还欠着很大一笔账，你知道为互联网我们改了多少层栈。
埃里克：嗯。
史蒂文：全部。
史蒂文：对，你说——
史蒂文：对，你说——而你也知道，以前那些东西有多不容易被攻破，又有多容易被攻破。我们可能正处在那样一个时刻：「哦，我们得把所有东西重新想一遍。」那没关系，我们以前做过。但我认为那是我们应该有的一场对话。所以我同意，是时候考虑让这些东西演进了。
开箱一部新 iPhone：第一步是一个别的什么都做不了的更新
史蒂文：比如说——你刚才提到开机、三十秒就中一个病毒之类的。如果你看今天你从盒子里拿出一部 iPhone 会发生什么：
史蒂文：整个网络基本是关掉的，除了拿去获取最新版的系统——因为虽然它是六周前压好的，但中间已经出现了零日漏洞。所以现在整个开箱流程的第一步就是更新，而更新完成之前这台设备什么都做不了。
史蒂文：这些全是完全良性的东西，我们把那个年代的桌面软件里一大堆这种功能关掉了——它们本来是很好的功能。比如 Word 的宏，你可以用它做自动引用之类的事，直到它变成病毒。还有那种你把光盘放进去、它就自动运行一个程序的设计，于是有人做的是：刻一张一样的盘，把那个程序换成我的病毒，但它看起来就是本来该跑的那个东西，然后它就在收集一切、干坏事。
史蒂文：对。
史蒂文：后来我们把它关掉了。所以现在正在发生的一件事是：
史蒂文：在公司自己的网络里，有一大堆事情
史蒂文：必须作为标准流程改掉。五年前，两步验证在大多数地方还不是标准做法。整个 SaaS 世界也是这样——我记得 2015 年前后，你去跟一家新公司谈企业定价，他们第一件要做的事是去做 Okta 集成或者 Google 单点登录，因为他们没法自己养一套目录来管这件事；而那后来就成了一件标配。今天没有任何一个 SaaS 程序不是直接跟着托管认证一起启动的。
史蒂文：所以在你甚至还算不上一个软件之前，就有太多事情必须先发生。
亚伦：对。嗯，对。我是说，大概技术栈的每一层都得在这个问题上往前演化一点。连那种颗粒度不足的问题也是——比如你只有两种模式：智能体每做一件事都要问你一次权限，或者反过来，它能把你整台电脑删掉。我们的操作系统大概不是为「你其实想给智能体一个颗粒度合适的工具集」这件事造的。我们在这个领域做了很多工作，因为显然——你会想把整个文件系统都给一个智能体吗？大概不会。也许在某些场景里会，但更多时候你想要的是一种颗粒化的控制：这个文件夹能读写，那个文件夹只能读。而你怎么把这一切做得让用户一看就懂？这非常难。所以会有一段——
最大的恐惧：欧洲把 GDPR 再给 AI 来一遍
埃里克：对。你刚才说的那句是非常深的一句话。我很清楚。对。
马丁：它基本上是四十年研究得出的结论。
马丁：结论大概是「你其实做不到」。但也许有了 AI 你真的能做到了——如果你问我，进门的时候我在便签上写下来的、我最大的恐惧是什么，那就是：
马丁：欧洲认定 GDPR 是有史以来最好的东西。
马丁：嗯。
马丁：然后他们要把 AI 也 GDPR 一遍。
马丁：对。
马丁：而 AI 会没事。它只需要在文本被输出的时候挂一条提示：「这个供应商正在输出文本，它大概是错的，是还是否。」那会变成——至少在北美的你不打算把语音送到欧洲去，但他们还是会，他们会用过滤器和关键词和黑名单。但再往后，任何时候一个智能体、一个后台智能体或者一个前台智能体碰到第三方产品，我真的很担心他们就会说「这里需要一个 GDPR 提示」，然后它就会变成——
马丁：哦，又回到用户那边，每一次写入、每一次非查询操作。
马丁：对，变成一条安全警告，就像你车里的安全气囊提示一样。
马丁：而监管者喜欢这个，因为它等于一次责任分配，所以它带着法律先例。
马丁：我真的很担心那其实是我们最终会落到的那条中间路。而不幸的是，因为美国大概十五年前就不再在技术反垄断上领跑了，问题是这件事会由欧洲来领，因为他们没有什么可失去的。
马丁：对。
马丁：所以我不想在这件事上哀伤低落，但我脑子里总转着一个念头：他们喜欢提示。
史蒂文：他们——我是说，你看，我不得不装那个浏览器选择的东西。他们就是——因为它是一样的。坐进一辆新车，这种事我很多年没做过了，但你得撕那些贴纸，你会有所有这些——
史蒂文：而有人觉得那是成功。对。
史蒂文：就像是：有没有人真的读过那句「这个座位上如果有婴儿怎么办」？它对一部分人、在部分时候是相关的，但它变成了整个织物上的一部分。
史蒂文：它贴在座位上，而他们就是爱这个，那是他们特别爱的一种东西。所以我会说，如果我是今天的 AI，我唯一想避开的一件事就是——你看，我们又加上了。
史蒂文：好，给 AI 做一个 FINRA，我们来立那个标准。
史蒂文：我是说，看，我们不得不在——互联网刚起来的时候，最流行的事是下载一个程序然后运行它；当然，如果你的机器跑在管理员模式下，那就是下了一个病毒、把你的文件永远拿走。所以在 Windows XP（2000 年）里，我们加了那个会拦你一下的东西，字面上你的机器会停下来：用户账户控制。它当时是彻底的冒犯。我们在 Word 里也做了同样的事——那个蠢蠢的小宏本来帮你写论文，后来每次你打开论文它都带着一条警告说这里有我的——
史蒂文：所有人都会直接点。
史蒂文：所有人都会，于是你落进这样一个世界：就像 GDPR 一样，所有人都麻木了。
史蒂文：然后他们就说：那它得更大一点。
史蒂文：不过 Mac——Mac 某种程度上已经有了。
史蒂文：没有人下载软件，这就是关键，Mac 上的使用模式非常不一样。
史蒂文：所以我希望我——
史蒂文：我 Mac 上大概只有十个应用。但十个，然后就没有了。
史蒂文：对。
史蒂文：可那是很多人——
史蒂文：还在做这些事。想象一下，如果换成你每去一个新网站都弹一次。
史蒂文：对。
史蒂文：而你现在就是这样的，因为那会很糟。
我们解决过这些问题：斯坦福那台示波器
史蒂文：对。我是说，从这里开始讲，但要把它拉回到宏观一点——我希望我们讨论的是这件事：
史蒂文：我觉得我们已经处理过很多这类问题。我觉得当我们谈哲学层面的 x-risk 时，我们并没有在解决这些非常务实的问题。我其实觉得这是一场建设性的对话。也许来点道具会有帮助，我不知道。而我觉得一部分问题是：人们不记得当年那种不受约束的访问有多糟，以及它最后相对而言有多么温和。我甚至记得在斯坦福读博士的时候，有一台示波器老是很卡。我就想，这台示波器怎么回事，怎么有点慢？我在测网络流量，流量比预期多得多。我就想，为什么有网络流量？我都不知道那东西有 TCP 协议栈。有人闯进去了，因为上面跑的是一个很老的 Windows CE，然后它就成了一个色情服务器。所以——
史蒂文：我记下了这一条。
史蒂文：以前是——
史蒂文：声明一下，什么都没发生。
史蒂文：以前的情况是：你随便翻开一块石头，
史蒂文：都会发现有人闯进了什么东西。而它是不是最坏的那种恶意？其实很少。虽然能力一直在那儿。所以如果我们能想办法把修辞降下来、把它放进上下文里——它仍然是计算机系统，是的，有非常严重的事，也确实有人因为网络瘫痪而死过，有真实的伤害——然后我们能不能就 GDPR 争两句，那就太好了。但问题是，那不是今天的讨论。今天的讨论不是 GDPR 和提示，是物种灭绝和哲学。
史蒂文：还有哲学，以及那些无法被反驳的东西，它就——
汽车、药品、航空：四十年的学费
史蒂文：太快了。我觉得那是个很好的点。你会听到人们说「我们管飞机、我们管汽车」，但你忘了第一批汽车是世纪之交的事，
史蒂文：而《任何速度都不安全》是 1960 年代中期的事。完全对。
史蒂文：还有，淘金热时期人们就在卖药，沙利度胺是五十年还是七十五年后的事，而且甚至不是在美国；然后才有了 FDA。第一批飞行员显然是在二十世纪初飞起来的，而直到 1920 年代你才需要考执照——当时你 literally 带着自己的飞机去，拿到一张证书，那和今天的驾校课没有任何区别。然后又是二十年，才出现和飞机适航有关的要求，而那还是非常小的量。再往后，真正到你想到的那种现代联邦航空局，是第一次世界大战之后很久的事。所以你看到的是四十年
史蒂文：的创新。而他们当年并不慢。如果你看过那段黑白影像——各种飞机坠毁的画面——那是莱特兄弟之后二十年。
史蒂文：而且它极其有效。
史蒂文：而且它极其
史蒂文：它是所有交通方式里最安全的一种。所以我确实觉得这个过程
史蒂文：同时也是最慢、最难的一种创新。所以如果一开始——如果你在 1910 年就成立联邦航空局，
史蒂文：你永远不会……我前几天刚听了一档尼克·博斯特罗姆的播客。不，不，我是说——
史蒂文：那期很有意思。他其实讲了他的观点：如果你太早去管 AI，你基本上什么都没解决，风险最后还在原处，但你并没有真正理解这套系统。然后你会把这个东西「许愿」出来，却还没学会怎么控制它。
Jev：一个拒绝写句子的模型
史蒂文：对，我们得先搞清楚它到底是什么。因为一直在出新东西，而且 AI 被定义的方式，跟六个月或九个月前我们想的已经完全不同了。我认为所有会发生在应用层的创新，会让各种东西以不同的方式进出模型。比如我们直到上周大概还认为，文本提示进去、文本出来，会是与它交互最好的方式。
史蒂文：我知道，然后——
史蒂文：然后就是那个，也太好了。
史蒂文：所以太好了，然后——
埃里克：那就讲讲它吧，因为我觉得——
亚伦：你为什么觉得它这么了不起。对。好，我是这么想的：LLM 有点像文本进、文本出，对吧？它们生成文本，而且它们来自聊天，对吧？它的用途是跟人交流。而我们过去几年一直在试着把这个吐文本的东西塞进一个传统程序里。
亚伦：对吧？但传统程序其实并不说文本。于是你就得做那种很别扭的事：在提示里写——
亚伦：这是 schema，
亚伦：这是 schema。但那东西在生成文本，它有点忽略你，整个过程非常别扭。所以那位的说法基本是：听着，生成文本是一件非常昂贵的事，而且比你需要的东西更复杂。那为什么我们不这样做——我们读文本，我们会拥有读懂文本所需要的全部知识，但之后我们不去生成文本（那非常贵），而是：如果你给我们一组选项，我们挑出最好的那个。我们可以做得非常快、非常便宜，而且更准，因为我们可以就为这件事训练。所以对所有那些不是在跟聊天机器人对话、而是想把它放进传统软件的用例来说，这是一个极好的适配。这大概是 ChatGPT 以来采用最快的 AI 模型。它太惊人了，因为我们所有人都为它做好了准备。我想在这件事上再加一句，因为我无法形容我有多喜欢看到这种形式的创新——因为它做到了从最开始就一直困扰我的那件事：从来没有一份用户研究证明，用完整的自然语言跟电脑交互是高效的。嗯。
亚伦：它字面上永远是最低效的方式。很简单，你只要问自己：有多少人真的擅长提问？立刻就会发现——一场会里能问出一个好问题的人不到一半。
亚伦：对。
亚伦：然后有多少次，你看着答案还没写完就已经非常烦躁，而你还得付那么多钱，看那七段话一个字一个字冒出来，最后它再道歉说只是稍微一点点。所以这是一点：换一种模型。另一点当然是我最喜欢的：它的输出是为概率式编程设计的。
亚伦：对。
亚伦：所以与其说「这是不是一个客服问题？是就转客服，否则转一般帮助台」——它其实是「这是 80% 的客服问题」。而那正好就是仿真。结果发现，围绕概率式 if 语句，计算机科学已经研究了大概五十年。所以突然之间，计算机科学里最酷的位置变成了概率式编程——而那基本上就是 1960、70 年代的整个计算机科学。因为计算机一开始就是做数学、做仿真：
亚伦：比如让我们发射导弹、命中那个目标，但风很大，
亚伦：而风不是常数。
亚伦：那就给风建模，再决定推力放在哪儿，才能画出那条弧线。所以一直到 1970 年前后、在它变成会计之前，大部分编程大概都是——
亚伦：然后我们把一切都毁了。
亚伦：不，但会计里没有概率，对吧？可大部分编程基本上就是这种建模的活。而大部分编程语言设计，都在琢磨怎么把概率放进 if 语句或者 while 循环里——做这件事，
亚伦：直到某件事发生，也许是大多数时候。所以我的第一门计算机课，大概第二次作业，就是一个关于在商店排队的仿真；我当时并不知道——我是在读关于 Jev 的东西时才查到的——原来整件事就是：教我这门课的老师，1960 年写过一本叫《仿真理论》的书。我当时不知道，因为到 1980 年代它基本消亡了，全被商业应用取代了。所以这个概率式的概念——
亚伦：而你对未来——语言模型有什么不一样——做的那份幻灯片非常好。哦，那个做得太好了，特别精彩。但我觉得它缺的那一块是：哦，等等，这并不是全新的——整个计算机科学本来就是这套概率的东西。所以去把那些工作翻出来会非常有意思，
亚伦：因为它正是现在在发生的事：现在不再是 if 语句，而是「if 百分之多少」，不是「if 永远」。所以 Jev 的用法基本上就是——它几乎是一门定制的编程语言：「这是提示，回来给我一个百分比。」对，就是这样，
亚伦：然后你把它放进 if 语句里。但真正有后果的一点是：我们终于有了一种把这些语言模型整合进传统软件的办法。而我觉得有点好笑的是，你问「实验室为什么没做这件事」——那不算一种指控，而更像一种关于他们怎么思考的反映：他们在试着造存在，而存在是说话的；如果你想造的是神，神说的是自然语言。而这件事真正关于的是传统软件里的东西，那不是他们一直在走的方向。它之所以上行得这么剧烈，原因之一是很多做软件的人一直在试着把这些模型整合进软件，只是一直整合不进去。所以在概率那一步之前，如果我想让一个语言模型去驱动一个 if 语句，
创新中心已经外移
亚伦：今天做这件事真的很难。这个东西让它容易得多得多。而它当然可能从根上改变软件的性质，让它更有随机性。
史蒂文：我觉得——我完全同意。而我觉得最酷的是，它发生在模型之外，因为我认为接下来必然发生的就是这件事：创新的中心刚刚移动了。对。现在人们需要——事实证明，
史蒂文：我是说，在实验室之外，那些大的——
史蒂文：那些平台提供方，百分之百
史蒂文：基本上会到达一个临界规模的点，然后创新就不再发生在平台层了。
史蒂文：然后你看苹果——苹果社区里有个很有名的说法叫 sherlocking（收编），就是苹果环顾四周，把外部世界的东西变成一个功能；人们抱怨，而那是真的，但那大概就是创新运转的方式。因为一旦你成了一个平台，你就不堪重负：不管你加多少人，你都被「让这个东西继续跑起来、保持兼容」这类事占满。所以我认为这就是那个信号：现在人们已经发现，还有创新可做。
马丁：那太棒了。
马丁：往模型里做，但是在模型之外。
马丁：对。对。
片尾：各位，谢谢你们来。这一期太好了。
片尾：好，太好了。
References
- 1Pacing the Frontier 官方声明
pacingthefrontier.com
- 2官方视频（含全部官方章节时间点）
youtube.com
- 3The a16z Show 官方单集页
a16z.simplecast.com
- 4Dario Amodei《We Must Pace the Frontier》
darioamodei.com
- 5a16z 作者页 · Martin Casado
a16z.com
- 6CNBC：Anthropic 研究者辞职与「超过 10%」表态
cnbc.com
- 7美国司法部《计算机欺诈与滥用法》说明
justice.gov
- 8Noam Brown 在 Dwarkesh Podcast 的访谈
dwarkesh.com
- 9TypeSafe AI 官方发布：System One Models & Jev
typesafe.ai
Comments