E257｜对话Vitalik：AI安全背后的哲学思想，有效利他主义如何影响硅谷：完整逐字稿和精华摘要
基于《硅谷101》E257 的完整音频，整理 Vitalik 与科技记者 Afra 对有效利他主义如何走到 AI 安全中心的对话：一笔狗狗币空投怎样变成 5 亿美元、他为什么与 FLI 分道、他怎么看 Anthropic 与 OpenAI，以及他给出的 d/acc 方案，附按说话人分段的完整逐字稿。
《硅谷 101》第 257 期在 2026 年 10 月 28 日上线，按北京时间是 10 月 29 日早上放出。1
主播是 Yiwen 与泓君，嘉宾是以太坊联合创始人 Vitalik Buterin 和科技记者 Afra。这期分两次录制：先与 Afra 录背景，再和 Vitalik 对谈。
完整音频长 1 小时 52 分 34 秒，入口是官方 RSS，视频版在硅谷 101 播客的 YouTube 频道。
节目全程用中文录制。Vitalik 虽然是加拿大人，中文说得比很多母语者还稳。本期没有商业赞助。
这期的分量集中在两个人身上：一个把上亿美元投进了这场运动，一个在里面生活过五年。
这一周为什么要聊 EA
10 月 26 日，Anthropic 向美国证券交易委员会递交了 S-1，准备在纳斯达克上市，代码 ANT。2
招股书里有 90 多页风险因素，其中相当一部分写的是前沿 AI 可能带来的灾难性后果。3
主播 Yiwen 自己按了 Ctrl+F：Safety 一共出现 248 次，其中「AI 安全」36 次。
治理安排同样罕见。七位联合创始人通过一家叫 Founder LLC 的实体，握有 50.1% 的投票权，足以决定所有提交股东大会的事项。3
另有一个 2023 年设立的长期利益信托，负责选出和罢免多数董事。据她读到的报道，创始人还能提前指定：自己失去履职能力后，投票权交给谁。
名单保密。她的问题由此而来：如果这些警告是真的，公众该不该知道谁在替人类做决定。
同一周，《经济学人》把有效利他主义放上了封面，标题是《有效利他主义是本世纪最大的想法》。4
封面文章的态度是「这场运动值得敬佩，但也危险」。9 月 14 日，美国战争部（Department of War，原国防部）首席技术官的官方账号也发了一句话：美国主义，不是有效利他主义。5
一个从「怎么把钱捐得更有效」出发的哲学问题，就这样变成了政府公开划清界限的对象。
从一顶蚊帐开始
牛津的哲学副教授 William MacAskill 问了一个很朴素的问题：钱和时间都有限，怎么才能帮到更多人。1
他参与创办的机构叫 80,000 Hours。一个人的职业生涯大约 8 万小时，怎么分配这些时间，才能给世界带来更大的改变。
Afra 说，这个问题一问出来，整套 EA 的思维方式就在里面了：在一组能支配的有限资源里，怎么把它用到最值。
Vitalik 记得的是另一组数字。2013 到 2015 年之间，他第一次听到 EA，那时的招牌论据是：2000 美元给非洲的家庭买蚊帐，能救一条命。
同一笔钱够买一张从亚洲飞美国的长途商务舱机票。一个人舒服十几个小时，或者救一百个人。
他把这个换算用在了自己身上。2016、2017 年以太币涨了十倍，他卖掉一小部分，捐给买蚊帐的组织、抗衰老研究和其他领域。
Afra 把 EA 的十几年分成四个阶段，这是整期节目最好用的地图。
第一阶段是蚊帐时代：用可量化的证据提高慈善效率，一顶蚊帐救几条命算得清清楚楚。
第二阶段是长远规划，大约从 2015 年开始。资源转向存在风险与未来世代，SBF 那样的巨额资金进入这个圈子。
第三阶段是信誉危机。FTX 崩塌，社群开始反思，同一时间 ChatGPT 出现，把 AI 话题推到台前。2024 年 3 月，SBF 因欺诈被判 25 年、罚没逾 110 亿美元。6
第四阶段是 AI 安全时代。EA 的成员进入前沿实验室，资金进入安全研究，圈子和政策圈、国家安全圈交汇，也就有了上面那句「美国主义」。
很多人把 EA 和理性主义当成一回事，节目里专门拆开了。
按 Afra 的说法，理性主义是一套认识论：人为什么会犯认知偏差，有了新证据怎么改判断。EA 是一套道德主张，还带身份感和社交圈。
「Rationalist 这个社群会变得越来越小，越来越微弱，但 EA 这个社群会变得越来越大，而且越来越有影响力。」
钱、机构和一场关于独立性的争论
节目里给了一个规模数字：Coefficient Giving 从 2014 年以来累计推动的拨款超过 70 亿美元。7
这家机构的前身是 Open Philanthropy，2025 年 11 月 18 日改名。它的主要出资方是 Dustin Moskovitz 与 Cari Tuna 的 Good Ventures，两人承诺在有生之年捐掉绝大部分财富。8
Afra 常去伯克利。她说那里已经有几十家安全评估和审计机构，Lighthaven 是六七栋独栋房子组成的活动场地，白天讲座、晚上点篝火烤棉花糖。
两个星期前她刚参加完两个会。The Curve 讨论前沿 AI 与加速，去年的会上坐着不少华盛顿国会和加州政府的人，她形容那是华盛顿和硅谷最好的 Venn 图。
另一个是 Progress Conference，更像 Ezra Klein 那本《Abundance》的线下版：怎么用现有技术造一个更富足的社会。
钱流向哪里，人也流向哪里。她说华盛顿一些传统智库已经很难招到合格的 AI 政策分析员，年轻研究员都去了有 fellowship、有 grant、年薪不错的 AI 安全机构。
然后是今年 9 月那场争论。9 月 8 日，在 OpenAI 和 Anthropic 做过预训练研究的 Jacob Coxon 公开辞职，说两家公司「正在冲向自我改进的超级智能，拿我们的命在赌」。9
36 小时内，他这几条帖子被看了 1.53 亿次。几天后，Anthropic CEO Dario Amodei 发长文主张放慢。
接着，独立研究者 Kevin Bass 在 X 上梳理资金链，质疑给 Anthropic 做独立评估的 METR 并不独立：它的资助网络与 Anthropic 的早期投资人重叠。10
报道同时写明，Bass 自己列的材料里并没有 Good Ventures 直接资助 METR 的记录，他的论证靠的是一串中间机构；METR 则表示不接受 AI 公司的资助。
Afra 的判断很直接：这是阴谋论。「EA 这群人的议程是什么？就是他不想让 AI 变得不可控。其实没有什么隐藏的议程。」
她更在意另一个问题：当一个思想运动有了这么多钱，它就不只是在发现重要的问题，也在决定什么算重要的问题。
一笔空投：从两万五千里亚尔到五亿美元
2021 年，Shiba Inu 的开发者把总供应量的一半打进了 Vitalik 的公开钱包，因为「Vitalik 持有一半」是最好用的营销语。
账面价值一度超过 10 亿美元。他判断这是泡沫，得在破裂前把钱弄出来。
私钥分成两段，各 78 位数字，一段在他背包的纸上，一段在多伦多继母家的柜子里。他打电话让她念出来，两段相加才凑出完整私钥。
卖掉一部分换成以太币后，他先捐了 5000 万美元给 GiveWell 这类「比较正常」的去处。剩下的币太多，市场深度不够，卖不完。
于是他把剩下的一半给了 CryptoRelief，另一半给了未来生命研究所 FLI。
他当时的预期是：这些币顶多能兑现 1000 万到 2500 万美元。
结果是 FLI 兑现了大约 5 亿美元，CryptoRelief 也差不多。11
2026 年 3 月 13 日，他公开发文说明这笔钱的去向，也说明自己为什么已经不再和 FLI 站在一边。CoinDesk 的报道标题把这笔钱称作「10 亿美元的 AI 政策战争基金」。12
这条帖子是他本人对捐赠经过的完整交代，发布于北京时间 2026 年 3 月 13 日，截图保留了原文的「First, what happened」部分；帖子后半段讲的是他对 FLI 转向政策的看法和 d/acc，也就是这篇正文第 6、9 节的内容。
他为什么和 FLI 分道
节目里他把这个过程讲得很慢。
FLI 最初给他的是一张覆盖所有存在风险的路线图：生物、核战争、AI，每一项都有专门研究。他捐钱买的就是这张分散的图。
后来 FLI 变了两次。第一次是范围：从所有存在风险收缩到只关心 AI。第二次是方法：从做研究变成做政治行动，开始挑法案、挑候选人支持。
他在节目里说，自己拿两亿美元做的那些空气传播疾病项目，成果都反馈过，也建议对方分散，「但是他们拒绝了」。
帖子里写得更直接：大规模、有组织的政治行动，配上大笔资金，「很容易走向意料之外的结果，引发反弹，最后用一个既威权又脆弱的办法解决问题」。
他举的例子是生物安全。FLI 的主流思路是给模型和合成设备加护栏，让它们拒绝生成危险内容。
他的评价是「非常脆弱的方案」：越狱、微调、各种绕行办法都能破解。顺着这条路走下去，终点是「先禁掉开源 AI，再扶持一家好公司取得全球主导」。
节目里他用一个更简单的说法解释这中间的变化：这已经从人与自然的问题，变成了人与人之间的问题。
人与自然好办，你要对抗的是规律；人与人难办，你要对抗的是和你一样聪明的对手，还牵扯文化、身份和信任。
SBF 那件事是同一个道理。一个人骗了很多人的钱，再用这笔钱去推一个政治议题，这个议题本身就会被人怀疑。
他今天怎么看 AI 安全
被问到自己给「AI 毁灭人类」打多少概率，他给的是一串不确定性，而不是一个数。
第一层：AI 发展多快，十年还是三百年。第二层：Yudkowsky 说的对齐问题到底是不是真问题，会不会自己就化解了。第三层：政治竞争，几个国家几家公司同时在做，谁都不想在关键时刻落后。
他用了两个老概念解释第二层。一个是价值脆弱性：让 AI「消灭癌症」，最省事的解法可能是消灭人类。另一个是正交性论点：聪明程度和目标好坏是两件事，聪明的坏 AI 是可能的。
所以他既不愿意说 P(doom) 是 99%，也不愿意说是 1% 或 0%。
他现在的判断有一个明显转向：AI 安全更像政治设计，而不是工程证明。
他的类比是政府架构：不同部门互相限制，有些部分快，有些部分慢，用一群聪明但不完美的人凑出一台更稳定的机器。
如果这条路走通，AI 安全会变成一个经验性的话题：你得和现有的模型一起工作，知道它们在什么情况下成功、什么情况下出错。
他还提了一个技术细节：现在的模型用英文思考，人还能读它的思路。如果模型改用只有自己懂的方式思考，这种可读性就会下降。
Anthropic 与 OpenAI：两边的账
节目里他把围绕 Anthropic 的争论拆成两派。
支持的一派说：AI 很危险，但不做 AI 不可能，因为世界上有太多团队和国家在做。唯一的办法是让「有原则的那家公司」赢。
他承认这一派有真实依据：Anthropic 确实在做安全研究，联合创始人 Chris Olah 是机械可解释性的核心人物，也是他在多伦多私立高中时的同学。
反对的一派说：激励结构比表态更有力。一个人被放进竞争里，很容易为对自己有利的事找到理由。
他给了一句很重的评价：这些公司公开说的论点听起来都成立，但「他们做的事情，和提高他们自己权力的相关性高于 90%」。
对 OpenAI，他的说法是两步：先用开放换安全，再用安全换加速。GPT-3 之后不再开源，理由是太危险；后来一批安全承诺没有兑现，理由是发展太快不方便。
这里有个细节值得留意：他讲这些时并没有把自己放在裁判席上，他给的是「中强的批评」，并承认如果前提成立，对方的结论也成立。
d/acc：除了加速和暂停，还有第三条路
d/acc 是他 2023 年 11 月 27 日在《My techno-optimism》里提出的框架，回应的是 Marc Andreessen 那份技术乐观主义宣言。13
这篇文章是 d/acc 的原始出处，d/acc 三个字母分别对应 defensive（防御）、decentralized／democratizing（去中心化、民主化）和 acceleration（加速）。首屏这段话说明了它的语境：他要的不是停滞，而是有方向的技术发展。
三个词，三个主张。
第一是加速：技术发展本身是重要的，这一点他从不否认。
第二是防御：把更多资源放到保护人的技术上。AI 黑客攻击系统，就投网络安全；AI 让危险病毒更容易做出来，就投检测、过滤器、抗病毒。
第三是去中心化：让普通人手里有工具，而不是把防御能力集中到一个机构。开源是其中一种。
他给了一个地理类比。欧洲中部山多，地形碎，天然形成很多小国和自治城市；往东走两千公里，山少河少，一个人骑马能跑一千公里，那里更容易长出一个大帝国。
没有去中心化的防御，剩下的选项往往是中心化的防御——由一个组织控制一切。
放到生物安全上：现在很多 EA 组织把八成资源放在「怎么让模型不帮人做危险病毒」上。他认为这是中心化防御，因为别的国家有自己的模型，不会用你这套限制。
而真正在研究抗病毒的人，担心的并不是科幻式的超级病毒，而是更常见、更频繁的普通病原体。对这类风险，模型里的护栏几乎不起作用。
他自己往这个方向投了钱。帖子里提到最近约 4000 万美元用于防御性技术：空气过滤、早期检测、连续 PCR 空气监测、预防性用药，以及软硬件的可验证性。
他也承认这条路更难，而且更依赖假设：你得先判断谁会做出最强的模型、危险会以什么形式出现。判断错了，钱就花偏了。
几处可以对上的数字
| 节目里的说法 | 公开口径 | 来源 |
|---|---|---|
| 本周 Anthropic 提交招股书，风险因素将近 100 页 | 对得上：2026 年 10 月 26 日递交 S-1，CNBC 写的是 90 多页风险因素 | Anthropic · CNBC |
| 七位联合创始人握有 50.1% 投票权，长期利益信托选出多数董事 | 对得上：Founder LLC 持 50.1%，信托 2023 年设立，负责选出和罢免多数董事 | CNBC |
| Safety 出现 248 次、AI 安全 36 次 | 主播自己的检索结果，没有公开的第二份统计可比 | 节目原文，约 00:00:28 |
| 《经济学人》把 EA 放上封面，称本世纪最大的想法 | 对得上：2026 年 10 月 1 日社论，10 月 3 日刊 | The Economist |
| 美国战争部喊出「美国主义，不是有效利他主义」 | 对得上：国防部首席技术官账号 2026 年 9 月 14 日发文 | Zvi Mowshowitz 的记录 |
| Coefficient Giving 累计推动拨款超过 70 亿美元 | 对得上：官网写的是 2014 年以来超过 70 亿美元 | Coefficient Giving |
| SBF 让 EA 陷入信誉危机 | 对得上：2023 年 11 月定罪，2024 年 3 月判 25 年、罚没逾 110 亿美元 | 美国司法部 |
| 9 月研究员从 Anthropic 辞职、随后爆出资金链质疑 | 对得上：Coxon 9 月 8 日公开辞职，Kevin Bass 的指控在 9 月中被报道，其中若干细节存在争议 | TIME · Moneycontrol |
| 几个组织一共拿到 4.7 亿美元 | 有出入：他本人帖子写的是 FLI 一家兑现约 5 亿美元，CryptoRelief 类似 | Vitalik 的帖子 · CoinDesk |
| 媒体按当时价格估计捐出约 15 亿美元 | 部分对得上：2021 年 5 月媒体按市价算过 10 亿美元级别的捐赠；他本人强调的是账面峰值过 10 亿美元、实际兑现约 10 亿 | CoinDesk |
| 2000 美元买蚊帐能救一条命 | 这是他回忆 2016 年前后的口径，成本随项目和年份变化，别当成固定市价 | 节目原文，约 00:41:30 |
嘉宾的判断
Afra：EA 不是追热点，是造了热点
- EA 的十几年可以切成四段：蚊帐、长远规划、信誉危机、AI 安全（约 00:09:41）。
- 理性主义是认识论，EA 是道德主张加身份感；前者在缩小，后者在变大（约 00:13:36）。
- 钱和人的管道是真实的：华盛顿的传统智库已经很难招到 AI 政策分析员（约 00:19:12）。
- 她认为「EA 出钱操纵一切」是阴谋论，真正的议程就是不想让 AI 失控（约 00:18:59）。
- 但她也承认问题在别处：钱多到一定程度，运动就在决定什么算重要问题（约 00:19:12）。
- 她自己不是 EA，也不会捐钱；吸引她的是这套人的行动方式（约 00:32:18）。
- e/acc 和 EA 很不对称，前者没有形成真正的力量（约 00:36:17）。
Vitalik：从「怎么捐最有效」到「谁来定规则」
- 他当年被说服的算式是：同样的钱，可以买一张商务舱机票，也可以救一百个人（约 00:40:48）。
- 选择用「被忽视程度」当标准：一个领域里已经有太多人做，自己参与就没有意义（约 01:11:07）。
- 2021 年那笔空投，他预期兑现 1000 万到 2500 万美元，实际是每家 5 亿美元量级（约 01:06:49）。
- 他对 FLI 的反对有两条：范围收窄到只剩 AI，方法从研究转向政治行动（约 01:08:30）。
- 他认为大钱加协调政治行动会反噬，甚至可能生成一个既威权又脆弱的结果（约 01:16）。
- 他不愿给出确定的 P(doom)，因为三组不确定性是乘起来的（约 00:56:20）。
- AI 安全更像政治设计：分权、制衡、让多个不完美的系统互相监督（约 01:48）。
- 对 Anthropic，他给的是「公开主张与自身利益相关性高于 90%」这种强度的批评，而不是否定（约 01:34）。
- d/acc 的核心是防御与去中心化：与其给模型加护栏，不如做检测、过滤、快速疫苗（约 01:38:13）。
关键节点
时间轴照官方单集页收录，开头 7 分多钟是主播的背景铺垫。1
- 00:00｜Anthropic 招股书里的 Safety，248 次
- 02:25｜两个关键人物：William MacAskill 与 Eliezer Yudkowsky
- 07:54｜八万个小时：怎样使用一生，才能帮助更多人？
- 09:27｜EA 的四次转向：全球健康、长期主义、信任危机与 AI 安全
- 12:58｜EA 与理性主义的异同：怎样做好事，怎样想清楚？
- 15:59｜AI 安全如何影响前沿 AI 实验室的公司选择
- 18:02｜METR 与捐赠网络：安全评估如何引发了争议？
- 22:28｜走进伯克利：Lighthaven、The Curve 与硅谷思想聚会
- 28:09｜去华尔街赚钱，再把钱捐出去：这条路出了什么问题？
- 35:18｜EA 与 e/acc：关于 AI 加速与减速的争论
- 39:15｜如何成为一名负责任的数字游民？Vitalik 最初的 EA 经历
- 44:19｜哲学僵尸与意识：理性主义者都在讨论什么？（音频里对应的位置是 00:44:55 之后关于 LessWrong 与哲学话题的讨论）
- 50:38｜当思想社群有了富豪捐赠者和专业机构
- 53:35｜AI 安全思想和 P(doom) 逐渐成为争论焦点
- 59:09｜狗狗币的故事：意外收到大量代币之后
- 01:05:10｜印度疫情救助与 FLI：两笔捐赠如何落地
- 01:08:13｜当 FLI 转向 AI 政策，Vitalik 和它的矛盾何在？
- 01:10:18｜一个领域已经有很多钱，还值得继续捐吗？
- 01:13:31｜从救助生命到影响政策，捐赠效果为什么更难判断？
- 01:18:46｜SBF 留下的问题：为什么聪明人也会看错人？
- 01:21:01｜EA、理性主义、e/acc 与 d/acc，分歧到底在哪里？
- 01:27:38｜「好公司必须赢」：相信 Anthropic，能解决安全问题吗？
- 01:30:29｜安全、开源与商业利益：谁来决定 AI 的未来？
- 01:36:06｜Vitalik 眼中的 OpenAI：开放、安全与加速之间的变化
- 01:37:57｜d/acc：Vitalik 为什么主张加强分布式防御？
- 01:42:04｜以防疫为例：怎样让普通人拥有保护自己的工具？
- 01:43:16｜面对 AI 的不确定性，普通人可以怎样理解这些争论？
- 01:45:14｜Vitalik：承认我们还不知道的事情
- 01:48:04｜AI 安全也需要制衡：让多个不完美的系统互相监督
术语
- 有效利他主义（EA）：用证据和理性分析，找出最有效的助人方式。早期算的是蚊帐和疫苗，后来算的是「防止人类灭绝」值多少。
- 理性主义（Rationalism）：这里特指围绕 LessWrong 形成的社群，研究人为什么会判断错、怎样根据证据修正。和 EA 人员高度重叠，但不是一回事。
- 长期主义（Longtermism）：把未来世代的人口算进道德考量，认为影响几万年后的世界比改善眼前更划算。
- e/acc（有效加速主义）：主张尽可能快地发展 AI，相信创新和竞争会带来更好的结果，通常反对以灾难风险为由限制开发。
- d/acc（防御性加速主义）：Vitalik 提出的路线，加速但不押注单一强者，优先发展能保护人、分散权力的技术。
- P(doom)：认为 AI 会导致人类灭绝的主观概率。这个词在圈内被当作一种立场标签使用。
- 价值脆弱性（value fragility）：给超级智能设目标时，一点偏差就可能导向完全不同的结果。
- 正交性论点（orthogonality thesis）：智能水平与目标好坏互相独立，聪明的系统也可能是坏的。
- LessWrong：Yudkowsky 等人推动形成的博客社区，理性主义的大本营。他关于认知偏差的长文合集叫《The Sequences》。
- MIRI：机器智能研究所，Yudkowsky 参与创办，长期研究 AI 对齐。Vitalik 在 2017 年给过它捐款。
- 80,000 Hours：MacAskill 参与创办的职业咨询机构，名字来自一个人一生的工作小时数。
- GiveWell：用成本效益评估慈善项目的机构，蚊帐账本很多出自这里。
- Coefficient Giving：前身是 Open Philanthropy，2025 年 11 月改名，EA 相关资助网络的核心节点。
- METR：模型评估与威胁研究机构，为前沿实验室做独立评估，也因此被质疑独立性。
- FLI（未来生命研究所）：最初覆盖生物、核武、AI 等所有存在风险，近年重心转向 AI 政策。
- CryptoRelief：印度疫情期间由 Sandeep Nailwal 发起的加密救助基金，Vitalik 那笔空投的另一半去了这里。
- Balvi：Vitalik 自己的科研基金，CryptoRelief 收到的一半资金后来转入了它。
- Lighthaven：伯克利的活动园区，由 Lightcone Infrastructure 运营，理性主义与 AI 安全社群常在那里聚会。
- 长期利益信托（Long-Term Benefit Trust）：Anthropic 2023 年设立的机构，负责任命和罢免多数董事，理论上让公司不必只对股东负责。
- neuralese：Vitalik 在节目里提到的一个担忧：如果模型不再用自然语言思考，人读懂它的能力会下降。
几句原话
「如果他们的警告成真，那作为公众，我们是否应该有权知道谁能够代表人类来做决定呢？」
——Yiwen，开场谈 Anthropic 招股书，约 00:00:01。
「我觉得热点是被 EA 创造出来的。」
——Afra，谈 EA 是不是在追风口，约 00:31:57。
「EA 他们是非常严肃的、非常认真的。我们才救人的命，我们不能玩。」
——Vitalik，对比 EA 与理性主义者的性格，约 01:25。
「他们最多能拿到可能是两千多万。」
——Vitalik，回忆 2021 年对这笔空投的预期，约 01:06:49。
「他们做的事情，和提高他们自己权力的相关性高于 90%。」
——Vitalik，谈对 Anthropic 的批评，约 01:34。
「我也不愿意说我的 P(doom) 是 99%，也不愿意说是 1% 或者 0%。」
——Vitalik，谈为什么给不出一个数，约 01:46。
「AI 安全更可能不像一个工程的问题，其实更像一个 political design 的问题。」
——Vitalik，谈他对 AI 安全走向的判断，约 01:48。
完整逐字稿（按说话人）
本稿依据官方单集页的完整音频转写，覆盖 00:00:00 到 01:52:34。口语、重复与中英混用都保留，只对明显的识别错误（人名、机构名、术语与同音错字）做了最小校正。
说话人按声音与上下文判定为三位：Yiwen（主播）、Afra（嘉宾，负责前半段的背景梳理）、Vitalik（嘉宾，后半段对谈）。节目单集页把泓君也列为主播，她也参与了录制；逐字稿中主持人的提问统一标在 Yiwen 名下。
时间点是该段话在音频中的起始位置，为近似值。有三处原音不清，保留原样并以〔转写异常〕标出。另有一处音频里被识别成「请关注我们的频道」的位置，复听后确认原音是「他们的 philosophy of safety」，已按原音改正。
Yiwen｜00:00:01 Hello 大家好，欢迎回到硅谷 101，我是 Yiwen。相信大家都看到了本周 Anthropic 提交的招股书。在这份文件里，Anthropic 透露了将近 100 页的风险因素。除了常见的金融和市场风险之外，还包括了关于前沿 AI 所带来的灾难性，甚至威胁人类生存的风险这样的表述。Anthropic 说，他们自己也无法保证自己的安全措施一定有效。那我 Ctrl F 了一下发现 Safety 安全这个词一共出现了 248 次，其中 AI 安全这个词出现了 36 次。招股书还披露上市后 7 位联合创始人将通过特殊股份掌握一般表决事项 50.1%的投票权，与其同时还有一个叫做长期利益信托的机构，有权选举董事会的多数成员。 这套安排的目标是让公司在追求商业利益时也考虑人类的长远利益。但有媒体还注意到了一个细节，那就是创始人可以提前指定，在自己失去履职能力后，由谁接替自己的投票权。这些人选需要经过内部批准，但名单是保密的。也就是说公众目前并不知道未来谁是有可能参与 Anthropic 决策的人。在消化 Anthropic 招股书巨大的信息量之后，我有两个初步的想法。第一，就是 AI 安全对于 Anthropic 这家公司的重要性很明显再一次展现在了公众面前。但第二，我担心的是，如果他们的警告成真，那作为公众，我们是否应该有权知道谁能够代表人类来做决定呢？ 要理解 Anthropic 对于安全的重视以及围绕它的信任和权力争议，就要提到一个近期反复出现的概念，那就是有效利他主义（Effective Altruism，简称 EA）。就在这个月，经济学人把 EA 放上封面，称它为本世纪最重要的思想。一些报道指出，围绕 AI 安全政策，EA 的支持者与我们播客里提到过的科技右翼发生了冲突，甚至特朗普政府也加入了争论。美国国防部在社交媒体上直接喊出了一句口号："美国主义而非有效利他主义"，一个听起来还属于哲学讨论的概念，就这样成了美国政府公开划清界限的对象。 EA 并不是一个新的概念。要理解它我们要先认识两个人，他们的名字也会在这期节目里反复出现。所以这一期的开头和我们平时的节目比会稍微长一点，也是因为我想把这些人物和概念先给大家整理清楚便于收听。第一位就是 William MacAskill，中文通常译作威廉·麦卡斯基尔，他是一名哲学家，曾任牛津大学哲学副教授，也是有效利他主义运动的共同发起人之一。他提出的问题很朴素，如果我们拥有的钱和时间都有限，怎样才能帮助更多人呢？比如同样一笔钱捐给不同的慈善项目，能挽救的生命可能相差很大。 那我们能不能用证据和分析找到最有效的选择？他还共同创办了一个叫做 8 万个小时的职业咨询组织。一个人的职业生涯大约有 8 万个小时，我们应该怎样使用这些时间才能给世界带来更大的改变？很多人上一次听说 EA 可能还是因为加密货币交易所 FTX 的创始人 SBF。他曾经以赚钱是为了捐钱的形象成为这个运动最受瞩目的支持者之一。FTX 崩塌后，关于 EA，尤其是针对 MacAskill 的批评也随之而来。当一个人声称自己要为全人类谋福利，是不是反而更容易为眼前的伤害找到借口？但 SBF 的倒台并没有让 EA 的故事结束。 这里就要提到另一位关键人物，就是 Eliezer Yudkowsky。艾利泽·尤德考斯基。他是一名长期研究 AI 安全的写作者，也是互联网理性主义社群的重要奠基者。他参与创建的 LessWrong 社区，名字直译过来就是少错一点。他在博客里反复讨论的是人为什么会犯错，我们怎样发现自己的认知偏差，当新的证据出现时又该怎样修正原来的判断。这里所说的理性主义是一套希望通过训练，让人更准确地认识世界，在不确定中做出更好的决策的方法。这也能帮助我们理解他与 EA 的联系。理性主义关心怎样想得更清楚，判断得更准确。 EA 则是把证据和推理用在了一个具体的道德目标上，怎样更有效地帮助别人。两个社群有很多交集，但 EA 也有自己的伦理学来源，不能简单地说它是理性主义发展出来的一个分支。后来这两条思想线索在 AI 安全上交汇了。尤德考斯基很早就在追问，如果我们造出了比人类更聪明的机器，该怎样保证它追求的目标与人类的利益一致呢？而在一部分有效利他主义者看来，如果 AI 真的可能威胁整个人类的生存，那么防止这种灾难会不会比其他事情更值得投入资源？这些讨论也进入了 AI 公司的早期思想世界。Nick Bostrom 的《超级智能》就是其中一本重要的书。 Sam Altman 曾经公开推荐过它，也写过自己对超级智能风险的担忧。Dario Amodei 则很早就参与了有效慈善实践，与 EA 圈子联系密切。后来他和一批同事离开 OpenAI 创立 Anthropic．对 AI 安全和公司方向的分歧就是其中的重要背景。Daniela Amodei 的丈夫 Holden Karnofsky 是 EA 慈善组织 GiveWell 和 Open Philanthropy 的联合创始人。在这个圈子里汇聚了很多有影响力的人物，包括以太坊的联合创始人 Vitalik Buterin。 在中国大家把他称为 V 神。Vitalik 长期关注并且资助全球健康等议题。2021 年，他向未来生命研究所捐赠了一批加密货币。据他后来的回忆，这笔捐赠最终让机构兑现了大约 5 亿美元。但在这次采访里，你也会听到，他对这个圈子的一些做法和 EA 的思想已经有了不同的看法。所以这一期我们请到了 Vitalik 本人以及他的朋友、写作者和科技记者 Afra。我们想和他们一起聊聊一个从怎样更有效的做好事出发的思想，如何走到了今天 AI 发展的中心。而当人们开始以全人类的未来为命决定资金、技术和权力的方向，我们又该怎样理解他们的理想以及其中的分歧。 这期播客我们分为两次录制，我和泓君先和 Vitalik、Afra 一起，聊了 Vitalik 参与这些社群和捐赠的亲身经历，以及他今天的反思。之后我们又和 Afra 单独录了一场，请他从自己的观察出发，介绍 MacAskill、尤德考斯基这些关键人物，梳理 EA 与理性主义的关系，以及他们如何影响了今天的 AI 安全讨论。节目里大家会先听到我们和 Afra 的对话，再进入和 Vitalik 的讨论。有了前面的背景，后半段提到的人物和事件也会更容易理解。另外，Vitalik 虽然是加拿大人，但中文很流利，所以这期最后我们用英文提到了很多人物和机构。 这些名词我也列在了 show notes 里面，大家可以对照收听。如果大家更希望对照字幕来听这期播客，可以去到我们的视频平台，包括 YouTube 和 B 站，就能看到含有字幕的播客版本。
Yiwen｜00:07:44 Afra，介绍一下自己吧。
Afra｜00:07:45 大家好，我是 Afra，我是一个写作者，然后也是一个科技记者，主要报道的是中国还有硅谷 AI 的一些故事。
Yiwen｜00:07:54 我们今天聊有效利他主义，要不我们就先从 EA 这个词的定义开始吧，就是 Afra 你觉得你是怎么理解 EA 这个思想的？
Afra｜00:08:03 对，我觉得 EA 它自愿意就是有效利他主义，怎么能够体现一个所谓的 EA 的逻辑，就不得不提到一个人，就是牛津的一个哲学副教授叫做 Will MacAskill。他之前创立过一个组织，然后我觉得这个组织其实能够体现很多的这种 EA 的精神。这个组织的名字叫做 80,000 Hours，就是八万小时。这个组织它其实是帮助年轻人，就是正在寻找职业方向的年轻人去找到一个对的方向，所以它有很多这种就职业导师啊，然后有很多这种关于职业的资源，有很多这种 job posting。现在 80,000 hours 虽然已经变成了一个跟 AI 职业很有关的一个东西，但是我觉得这个项目的名字非常能体现 EA 逻辑，就是说一个人一生的工作时间加起来大概是 8 万个小时，那么你如何把这 8 万个小时当成一个有限的资源，你会怎么分配这 8 万个小时才能给世界最大的改变？ 这个问题一旦问出来，整个 EA 的整套思维方式就在里面了。就是说你在一个有限的，你所拥有你能够支配的这一套资源当中，如何能够最大化的去使用，去分配你自己可以去使用的这些资源。这些人非常有 agency,他就非常有能动性，他们执行力很强，他们的野心也很大，因为他们经常就会在琢磨一些，像是我有八万个小时，我应该怎么做这样的事情上，然后但是我觉得这个问题其实很多人他不太会考虑的。所以我觉得 EA 某种程度上它精神还是非常启发人的。
Yiwen｜00:09:32 嗯嗯。你觉得总体来说就是有哪些话题是 EA 会比较关注的？
Afra｜00:09:41 怎么说呢？我其实需要把 EA 的影响全球格局的这么十几年时间分成大概四个阶段，然后它其实每个阶段关注的重点都不太一样。第一个阶段就是所谓的这种蚊帐时期然后这个时期就是你用非常详实的可量化的证据去改善做慈善的效率然后去影响就比方说全球的健康指数然后这是一种可以测量的善它是一个这种证据来支持和数据来支持的善因为在 EA 刚刚成立的那段时间里许多人想要行善许多人想要通过 philanthropy 去捐钱但是 philanthropy 的这个效率非常低下以及他们捐的钱就捐不到位但是 EA 这群人他们就想用一个能够可以量化的一个科学的方式把这个权捐到位然后去最大化它的这个价值然后所以这就是蚊帐时代的来源。蚊帐指的就是，你捐多少钱就能够挽救多少条生命，这是最有效的方式。接下来 EA 的下一个阶段就到了叫做所谓的长远规划时期，然后这个长远规划时期大概是在 2015 年左右发生的，就是这群人开始以不成比例的去研究这种存在风险和关于未来世代的一些问题。 资金和机构也开始扩张然后他其实也不再关心一顶蚊帐能救多少人而是关心未来几千年几万年人类的世世代代的子女这些人的这种生活质量和生活标准然后所以就大量的资金同时也是就是 SBF 然后以及很多其他的这些富豪的资金在这个阶段进入了社区然后我觉得可能 SBF 是这个时代最极端的一个象征因为他自己就是一个非常非常关注这种 long termism 问题的这样的一个人我读过一篇关于 Will MacAskill 的《纽约客》的 profile，然后里面就读到的一个，我自己读完之后我的一个判断是 SBF 可能是整个 EA 转向长远规划这种 long termism 的决定性因素之一。 然后接下来就是整个社群的声誉崩盘的这个时代，出现了很大的信任危机，然后大家也开始去反思 EA 的群体到底出了什么问题。然后同时呢 ChatGPT 也诞生然后也带来了一个 AI 的转折所以之前 EA 还有理性主义群体讨论的这种 AI 风险生存问题突然变成了一个更多人关心的问题所以这个阶段呢我觉得它是一个也有很多挫败但是有很多曝光的一个阶段就是首先它曝光出了非常多比方说 Will MacAskill 本人的十人的失败就是他自己本人一直被社群的批评也是他现在仍然对 SBF 的反思不够或者是以他当时一直在庇护 SBF 但是这个时期也是一个真正的就是让 EA 变成了一个就像是经济学人所说的一个对 21 世纪影响最重要的一个思想流派。 然后再接下来就是我们现在熟知的 AI safety era，然后我觉得是 AI 安全的这个时代，让大众包括我爸我奶奶这样的人都能够听说有效利他主义这个词。是因为 AI Safety 成为了他们最核心的一体之一，然后整个 EA 的网页通过一是有很多的成员就是在这种前沿实验室的员工，然后包括大量的资金去资助 AI Safety 的这个事情，使得整个 EA 的圈子和政策圈和国家安全的圈子和华盛顿的一些圈子，发生了交汇，然后也导致川大总统，比方说美国国防部会发推说，我们美国肯定不会变成 EA 的，EA 不行，怎么怎么样。 对，我觉得就是我们当下的这个阶段是一个 EA 的一个新的阶段，有新的挑战，但是它也是一个最进入到的这种公众意识当中的这样一个时代。
Yiwen｜00:13:23 嗯嗯，你刚也提到了理性主义这个社群，因为其实我们很多时候是把 AI 安全和理性主义者联系在一起的是因为他们之前有 Eliezer Yudkowsky 这个人，然后他自认为是一个理性主义者，并且提出了很多反对 EA 思想的声音，但是呢现在这两个社群之间又好像有一些重叠，能不能具体跟我们解释一下就是理性主义者和有效利他主义者他们有什么区别，然后有什么一样的地方？
Afra｜00:13:36 对，你如何去最大化的行善，你最有效的做 altruistic 的就是这种利他主义的事情，这个思想的源泉其实就是理性主义本身，这其实是一个大的合集当中的一个分级。Effective Altruism 它其实是在某套思想体系当中，Rationalism 肯定是占很主导的地位的。但是 EA 说吧它是一套道德主张，但是 Rationalism 它是一套认知论和思维的训练。这两个是不一样的，就是当你给自己冠上了，就是我是一个 EA，我是一个有效利他主义者的时候，这是一个有点类似于宗教或者说道德主张的这样一个词汇，就是你就变成那样的一个人。 但是 Rational 其实是一个怎么去看这个世界，怎么去想这个世界的方式。然后他研究的是贝叶斯的认知论，他研究的是认知科学，甚至很多是互联网文化，这个群体他关心的问题更加像是一个思维方面的原思维的这种辩论，就是人如何在不知道自己不知道什么的时候做出更好的判断，就是人类为什么会有认知偏差，对吧，我们怎么去更新自己的信念，怎么在不确定的情况下做出更好的判断。其实 Rationalism 它没有人会到处跟别人说自己是 Rationalism，但是我觉得 EA 它会给你有一个这种就是这种成员的身份感和社交感，然后它只是一套你自己要做很多事情，而且你做的事情需要有很大的回报，然后这个回报又反过来加强你自己是谁的这样一个东西。 所以就是你会看到 Rationalist 这个社群会变得越来越小，越来越微弱，但是 EA 这个社群会变得越来越大，而且越来越有影响力，其实就是因为他们想要做的事情是完全不一样的。对，就像你刚才说的，EA 感觉是一种生活方式，或者就是一种行动的指南吧，因为它本身是从一个慈善运动开始发源的嘛，所以就是如果你认同自己是一个 EA，你是会去做相应的事情的。没错，我就是很多 EA，比方说 EA 它成员内部本身有很多小圈子，大家都是天使投资人，然后相互会给对方喂一些讯号说，这个公司要融资，这个公司怎么样，然后要不要投，要不要投。 其实 EA 也有一个自己赚钱的这些小圈子，然后 EA 也有非常多的 alpha，就是说未来非常有潜力的这种公司的，比方说关于股票啊，或者是关于原始股的一些信息。其实很多 EA 的社群当中的人对赚钱这个事情是很敏感的，对捐钱这个事情也很敏感。我觉得 EA 对我来说可能最大的一个感受就是它更像是一个社交的一个有点宗教性质的小圈子，而 Rationalist 的话是没有人要求你到底要不要对这个组织有什么忠诚感的，因为 Rationalist 它本身就是一套认知论和方法论。
Yiwen｜00:15:59 我觉得我们讲一下 AI 安全对这些 Frontier Labs 的影响吧，就是因为这是我们现在作为普通人关注到 EA 比较常见的一个方式嘛，你觉得这些包括 OpenAI 和 Anthropic 这两家 Lab 的创始人，他们是不是都在不同的程度上受到了 EA 思想的影响，然后这个具体是他们当时接触到了什么，包括什么样的文本，什么样的人，怎么样去塑造了他们对于做 AI 做 Super Intelligence 这件事情的最初的想法？
Afra｜00:16:27 嗯，在这里我就陈述一些我自己平时刷推或者读只言片语或者是平时看书读到的一些东西。就是如果用 EA 的这个滤镜去审视 Anthropic 和 OpenAI 这两家公司的话，那么 Anthropic 是非常 EA 而 OpenAI 是不是很 EA 的。我觉得这是一个很重要的区别，是因为 Anthropic 的七位创始人当时是都在 OpenAI 工作的，但是他们是看到了 OpenAI 不够有效地去管控这个 AI 可能带来的风险，然后他们都觉得忧心忡忡，他们觉得不行，我们不能在这家公司待下去了，因为他们对整个 AI 安全，就是当时 EA 的一个非常强烈的一个主张不够重视，这几个 OpenAI 的员工，然后于是他们就决定自己出去单干。 于是 Dario 就召集了一些他认为跟自己理念比较相同的人，然后就出去成立了 Anthropic 这个公司。然后 Anthropic 这个公司的本身的名字也是这个人本主义、人本公司，然后也就昭示着他们成立这家公司的初心就是去做一些和 OpenAI 非常不一样的事情。然后 Anthropic 里面的成员 Dario 本身是非常的 EA，我知道，因为他之前就比方说给 GiveWell 捐钱啊什么的，然后他自己也经常会在自己的博客里面提到他自己对于这种就是更加有效的用 AI 去制造全球的福祉的，他会发一些这样的文章，就比方说 Machine of Loving Grace 这样子的文章，然后这很能体现一个 EA 是怎么想事情，是怎么看待这个世界的。 同时就是这个公司的另外一个创始人叫做 Chris Olah，也是对 Vitalik 影响很深的一个人，然后他自己应该也是一个很 EA 的人。
Yiwen｜00:18:02 Afra，不知道你最近有没有关注到就是 Anthropic 还有一些安全审计机构和 EA 的关系呢？我们知道 9 月 Jacob Coxon 这个研究员从 Anthropic 辞职之后，其实有一个叫做 Kevin Bass 的这个独立研究者，他在 X 上梳理资金链。他主要看的就是 Anthropic 去安排给他做独立安全审计的这样一个机构叫做 METR。他就说呢 METR 还有其他的一些安全机构，他们的资助方同时也是 Anthropic 的早期投资人，他就是 Coefficient Giving 这个机构的创始人 Dustin Moskovitz。 他持有大量的 Anthropic 股票，所以这个所谓的独立评估实际上可能是和 Anthropic 的成功利益绑定的。这样一来，其实网上就有很多声讨 EA 的声音，很多人开始质疑所有的安全机构的资金来源，我想知道你怎么看待这些质疑呢？
Afra｜00:18:59 就是因为 Jacob 这个 Twitter 火了之后，大家才开始扒出来整个这个 EA 对于 Anthropic 的资金注入，然后其实大家就开始编造各种阴谋论，对于我来说其实是一个阴谋论。
Yiwen｜00:19:10 你为什么觉得它是一个阴谋论？
Afra｜00:19:12 像很多传统媒体它就会质疑说，这些资金流向的这些组织到底有什么目的，到底有什么隐藏的议程。在我自己看来我觉得一定会有某种议程的投射，但是 EA 这群人的议程是什么呢？就是他不想让 AI 变得不可控，同时造成让人类无法承受的后果，这就是他们的议程，其实没有什么隐藏的议程。最近就是前纽约时报的一个很有名的记者，然后同时也是博客 Hard Fork 的主持人 Kevin Roose，他写了一本书，这本书叫做 AGI Chronicle，这本书 Kevin 在写作的时候，他就拿了一些有 EA 背景的钱。 于是就有很多人就质疑说你这本书的钱的来源是不是不明白是不是你是一个接受了 EA 的钱你就要一定要去把这个议程写进书里的这样一个事情但是我觉得最大的问题可能是就是当一个思想运动有了这么多钱以后他到底是在发现最重要的问题然后他同时也是开始在参与他决定什么问题会被认为是重要的我们现在其实已经生活在了一个 EA 这群人的很早他就跟我们说过的他们要做的这个事情的后果当中就他们很早就说 AI 安全这个问题是重要他们很早就说过我们要往这个里面注入很多的钱我们要创造影响力我们现在就生活在这个影响力当中对吧我见过一些华盛顿的传统智库他甚至很难招聘到合格 AI 政策的分析员因为年轻的这些人才有能力这些人才他都流入了这个 EA 赞助的各种智库和各种组织中如果你是一个比方说 20 岁出头的一个年轻的研究员你刚刚从学校毕业拿了斯坦福的 PhD 你想要研究 AI 的经济然后你会发现 AI alignment 和 AI safety 这个领域有大量的 fellowship 有大量的 grant 有很多这种 research positions 有很多给你的这种岗位而且你能拿到很不错的这个年薪而且这些机构只管给你钱，也不怎么关你的研究方向。 而与此同时，其他的研究机构就没有这么多资源，也没有那么多的给你的自由程度。你在这个 AI Safety 的这些机构当中，也没有人要求你改变信念。所以我就见过越来越多这样子的年轻人逐渐被跟 AI Safety 有关的这种所谓的带引号的 EA 机构所吸纳。然后我也见过越来越多就是因为跟这些机构就每天跟这些人不断的见面，然后讨论就是问题，然后从而被 safety-pilled 的一些非常聪明的人。但是从我的观点来看就是我认为被 safety-pilled，就是在现在这个阶段被 safety-pilled 是一个很正常的一个事情。 即使你对 AI 安全问题不是那么关心，我觉得你就每天的各种普通的新闻看各种电视的报道，你也会被 safety-pilled。
Yiwen｜00:21:47 嗯，我知道你其实会经常去伯克利还有旧金山一些 EA 的组织，或者我们把它叫做理性主义的组织，然后我还听说就是在旧金山比如说我们刚刚提到的 METR 的这家组织，如果你要进去参加一些类似于比如说 Anthropic 或者是研究员的活动，你说自己我不是一个 EA 主义者，就他们会问，就是你说你不是 EA，你可能连旧金山的很多活动你都进不去。
Afra｜00:22:11 我觉得 EA 也很有意思，就是你问一些人说你是 EA 吗？他们说，哎呀我也不是 EA，但是我跟他们的人走得很近，就没有 EA 的人天天把自己是 EA 挂在嘴边的。其实有很多我的 EA 朋友他们很 EA，但是他们并不觉得自己是 EA 成员，我觉得这个也是很有意思的。
Yiwen｜00:22:28 伯克利是一个怎样的氛围？我觉得伯克利是不是他更偏向于理性主义的社区？我知道有一个组织叫那个 Lighthaven，大家也经常聚会办活动，他跟旧金山的氛围还不太一样。
Afra｜00:22:40 对，我觉得现在伯克利他已经自成一个体系了，就是伯克利有非常多可以 AI 安全呀，第三方的这种审计机构或者像 METR 这样的组织，就伯克利已经有几十家了，说实话。然后 Lighthaven 他其实是一个理性主义者和一些 EA 赞助的活动场所吧，然后他是在伯克利有大概六到七个独栋的房子组合而成的一个活动场所，就是你在里面可以听讲座，然后在里面可以自由的 social，然后在晚上还要篝火什么的。然后你可以在上面烤这个棉花糖。Lighthaven 就是被看作是这个 AI safety 和 EA 还有理性主义的一个大本营。 然后我自己会偶尔去 Lighthaven 开一些跟 AI 相关的一些会，然后去认识一些人。我两个星期前刚刚从两个会议回来，其中一个会议叫做 The Curve，然后另外一个会议叫做 Progress Conference。一个是关于 AI 乘以这个 Curve，就乘这种爆炸式的水平发展的这样一个会。跟前沿 AI 研究很相关的一个会。然后第二个会是 Progress Conference,它更加主张的是要推动社会的进步，然后就很像是 Ezra Klein 写的 Abundance,就是富足，就是如何我们用现有的科技去营造一个更加富足的，更加有未来感的一个社会。 它其实讨论的是各种前沿的科学研究，比方说如何教育下一代对未来更加有信心，就是讨论的是这样的话题。
Yiwen｜00:24:01 你觉得这些话题就是大家在讨论的时候对很多比如说推动事件的进展啊推动 AI 是加速发展还是它应该慢一点那在真正对事情的影响上呢会有强大的影响力吗
Afra｜00:24:15 我觉得会，我记得去年的 Curve，就是关于这个前沿 AI 的会议，其实有很多华盛顿就国会的人在，然后也有很多加州的政府啊，然后这些议员们在，The Curve 它其实带来的这种群体效应还是挺明显的，它是一个华盛顿和硅谷最好的一个 Venn diagram，就是 Venn diagram 就是这两个圈圈碰在一起，然后一个圈圈和圈圈中间的那个相交的地方，就是 Venn diagram。所以我理解他们的影响力可能是在推动政策推动监管上。是的，没错。
Yiwen｜00:24:46 那理性主义的社区呢？
Afra｜00:24:48 我觉得理性主义的社区就更佛系一点。理性主义人他其实不那么想要去寻求影响力，就是 impact。所以理性主义社区那些人他们还是像之前那样，大家就写写博客，然后研究研究这个研究研究那个，就他们没有那么多，现在硅谷所说的 4D chess，就是 4D 象棋，他们脑子里面没有那么多，哎，我今天要做 A，然后可以达到 B，然后所以我能最后达到我的目标 Z，但是我要怎么逆向工程一下这个事情，然后我怎么怎么样。Rationalist 人他其实没有那么多宏大的计划。Rationalist 就是还是很可爱，就像是 Vitalik 说的，就 Rationalist 他们就喜欢做自己爱做的事情。 很多人对吧，写小说，写博客，讨论一些很 nerdy 的一些数学问题，讨论一些很 nerdy 的 AI 的问题。
Yiwen｜00:25:35 然后我看你之前还去伦敦参加过一个叫做 GovAI Fellowship 的项目。你是有见到我们刚刚提到的 EA 的一个精神领袖叫做 Will MacAskill，你是有见到他，有跟他们交流吗？
Afra｜00:25:47 我见到 Will 那个 MacAskill 应该是在 The Curve 见到的。其实他在这个 GovAI 这个组织当中他算是一个导师，但是我从来没有在办公室。因为那个我那个 fellowship 不就三到四个月，就是在伦敦的那个 Kings Cross 十字国网那个车站旁边。我本来当时还挺期待见到他的，因为就是在网站上他是导师之一，但是我反而是在加州见到了他，因为听说他要搬来旧金山了，就是在牛津待了 16 年以后终于要搬到旧金山了。对我就是第一次见到了 Will，然后我跟他聊了十几分钟吧，我觉得他身上几乎浓缩了 EA 过去十几年的很多的思想变化。 《纽约客》的 Gideon Lewis-Kraus 在 2022 年给他写过一篇非常好的 profile，这篇 profile 大概七八千字，然后文章里面这个 Will 本人尤其是刚刚开始创立 EA 的这些组织的时候，他有一点先知和那种酷心僧的味道。Gideon 他自己作为一个作者，然后他自己也有写到就是说，你在 Will 周围，你会有一种我应该去行善的道德压力，因为 Will 他的吃穿住行非常的朴素，而且他还不断地在捐自己的收入。
Yiwen｜00:26:57 你觉得他对整个 EA 圈核心影响是什么？就是一个精神领袖？
Afra｜00:27:02 对，他算是一个 EA 的精神领袖，同时他也是创立了牛津的一些核心 EA 组织的这样的一个人。他在 22 岁那年的时候遇到了一个澳大利亚教授叫做 Toby Ord。两个人一拍即合，就是 Toby Ord 他是一个非常注重 EA，然后也非常注重这种 Long Termism 的这样一个人。Will 就是当场就在 22 岁的时候，他就承诺说我要自己要力所能及把自己的财富永久地捐出去。然后他非常愿意把自己的未来的自己绑住的想法。这也是之后很多人会不断地在批评的一点，就是说 EA 它有一个我和我未来一个更加富有的自己，去签订合约，去做我现在的自己想要做的事情。 但是我记得 Vitalik 对于 EA 的这种理念的批评就是，你未来的自己永远会背叛你现在的自己，因为你十年二十年之后，你的想法会变，你的行为会变，你身边的朋友，你的圈子会变，你想做的事情会变，你怎么能够保证你未来，为了今天你想要行得善而变得更加富有的自己能够执着地坚守你今天承诺的事情呢但是这就是当时的 Will 他说我要把自己的收入全部都捐出去我觉得还有一个 EA 它其实在刚刚设立的时候几年之后就出现了占领华尔街的这个运动然后在占领华尔街如火如荼的时候就是当时的这种道德主张就是华尔街的这些人是吸血鬼他们是造成了美国的很多中产和更加底层的这样一些人的生活更加拮据甚至毁掉他们这些生活的这些邪恶的人对吧但是当时 Will 在牛津大学发表了一场题为《医生、非政府组织工作者还是其他什么？ 哪种职业能够更加造福社会？》的演讲，其实是在帮助当时牛津的刚刚毕业的学生去思考以后应该从事什么职位。同年他也创立了 8 万小时的项目，他其实做的事情就是想要为一些本科生提供这种道德、生活优化的一些建议。这个时候呢，他提出了一个观点，就是说，就是你们这些牛津的这些精英院校的学生们，你呢如果想去造福这个世界，你可以选择在贫困国家当医生，但是你这个医疗生涯当中，你八万个小时你能救多少人，对吧？你可能会拯救相当于 140 条生命。但是呢，你也可以加入这个非常邪恶的华尔街，或者是邪恶的咨询行业，你通过明智的捐赠，你可能你拯救生命的数量可能是前者你在贫困国家当医生的十倍，因为你能够捐那么多钱，然后你能够买很多很多蚊帐，然后每顶蚊帐可能都可以救很多人。 所以在当时在华尔街最有道德污点最臭名昭著然后最没有办法去吸引到精英学校学生的时候其实是有些人听了 Will 的这个道德建议而去投身进了华尔街就是我觉得之所以有效利他主义能够被 SBF 像 Jane Street 这样的一些交易者所吸引其实也是他们其实在试图用 EA 去弥合某种道德错位感他们会经常可能会扪心自问说，我做这件事情真的是有意义的吗？就是这种疯狂的不断的做量化交易，然后去赚钱，通过各种杠杆啊，各种措施去赚钱，我真的做得真正好吧？但是，如果我把这个全捐出去，那么我做的事情就是好事了，对吧？ EA 的这套主张会给很多在华尔街做一些最大化利益的一些人提供了一个借口，这个借口就是我其实是过来是做善事的，这个借口是一个非常会被人...利用或者是被很多人去剥削的一个事情。
Yiwen｜00:30:29 哦，这个点很精彩，对。对，然后呢，在 2015 年，Will MacAskill 受聘成为牛津大学的最年轻的哲学副教授，他当时只有 28 岁。在同年的夏天，他的八万小时项目也被 Y Combinator，就是 YC 所接纳。然后有效利他主义的这个全球峰会在谷歌总部举行，从 Elon Musk 然后到很多其他的这种硅谷富豪都出席了其中的一些 panels，然后比方说 Musk 就出席了当时关于人工智能小组的这个讨论。我觉得可能 2015 年的这个 EA 是某个方面的一个顶峰吧，可能在这个 Will MacAskill 的眼中可能这是一个顶峰，因为他其实 EA 的这套哲学思想已经渗透到了硅谷最有钱，然后最富裕，然后也是最有资源，最能推动社会往某个方向走的这一群人。
Yiwen｜00:31:13 对，我注意到 EA 整个的起源是在牛津大学，但是它后面的发展包括你刚刚提到了像今年 Will MacAskill 已经搬到硅谷来了，这说明了什么？
Afra｜00:31:25 我觉得这说明就是 EA 本身的核心的主张和核心的想要做的事情已经完全变成了 AI Safety 和之前已经不是很一样了。之前的所有做的事情，比方说预防全球的疾病啊，或者是提高行善的效率啊，关注其他意义上的生存风险啊，就是到现在其实已经很难找到了。就基本上所有的 EA 的这种关注点和精力其实都已经放在了 AI Safety，或者说 AI Safety 已经不成比例的被放大了。
Yiwen｜00:31:55 我怎么觉得 EA 也在追热点？
Afra｜00:31:57 我觉得热点是被 EA 创造出来的。就是我觉得我们现在生活在一个 EA 在很多年前就已经规划好的一个现状当中。哦，有意思。就是 EA 其实在很多年前就已经说过了，说我们就是要花这么多钱去做这么多的 impact,我们现在就是要 impact maxing,然后我们现在已经活在了 EA 所创造的他们 impact maxing 的世界当中了。
Yiwen｜00:32:16 你会对外说你自己是 EA 吗？
Afra｜00:32:18 我不会，因为我真心觉得我不是。我很关心 AI safety，但是我不是 EA。比方说我不会捐钱。我觉得我自己现在做的事情还不到我自己能够去捐钱，或者说过度的去考虑全球范围内的一个我应该行怎样的善这样一个地步。我自己最感兴趣的是 EA 的哲学和他们的这个 intellectual 的世界。我对他们来说就可能是一个想写一群很有意思的人的这样子一个智识上的一个吸引。就像是我自己也会很关注比方说在旧金山认为 AI 会替代人类的这样的一群人。就我会很喜欢关注这些奇奇怪怪的这些群体。
Yiwen｜00:32:55 但是你有接受过 EA 的钱吗？就比如说你刚刚提到这个伦敦的 fellowship 的这件事情，他们应该是有一个资助的还是说这个要自费去的？
Afra｜00:33:04 这个是有资助的，这个其实也没有那么多钱，大概就是一两万的英镑，因为我当时在伦敦，我不需要在伦敦付房租，所以这个钱我并没有拿来付房租，但是这个钱，然后如果是让一个年轻人在伦敦住四个月的话，其实甚至都不是很够，房租的钱，在伦敦这个物价，这点钱是算不了什么的。
Yiwen｜00:33:25 嗯，所以我觉得很有意思，就是你刚刚说你不是 EA，是因为你觉得从 EA 的核心理念来看，你可能还没有到你可以把你的钱捐赠出去的这样的一个实践者。但是其实你同时又是被 EA 的思想吸引的，就是你觉得这里面的很多在知识上的东西它是有带给你在精神上的不管是愉悦感还是你觉得你可以有很多的东西去探索。我在想这是不是也是很多我们接触到的 EA 群体，大家...一个比较共性的画像跟吸引他们的点。
Afra｜00:33:57 我觉得 EA 它有一点很吸引我的地方，就是我其实在某种程度上我想要在形式上更加 EA 一点点，是因为我觉得 EA 这些人他能够把自己想要做的事情和自己想要对这个世界带来的影响能够转化成对自己要做什么的某种激励，就是说有点类似于就是先做人再做事。有一点点燃的是你自己心里面的一个火苗因为我会发现就是很多 EA 的人他自己想要做的事情他其实并不先管我想赚多少钱而是先管就是我想要做什么事情然后再去想要我怎么去搞到这些钱或者我怎么去实现这个事情这我觉得这是一个很有意思的一点，就像是我同样也会被 AI 创业的这种氛围所吸引一样，或者硅谷这种 Founders 这种文化吸引一样，很多 Founders 他其实也是这个理念，对吧，我想要创建一家什么样的公司，然后我再去想融资这件事情，然后我再去想就是我怎么去具体操作这件事情，就是我觉得这很多逻辑是很像的。 Maybe 这也是为什么硅谷和 EA 一拍即合的原因，对吧？硅谷很多这种创始人文化，和 EA 的理念非常吸引的这样，因为我觉得 EA 它首先它做的事情是让你很有野心的去在你心里面去画一个你对未来的图景，然后你再回到现实，让今天的自己去实现那个你画出来的图景。我觉得这是一个很有意思的一个思想和行动的一个指南。嗯。
Yiwen｜00:35:18 其实我们知道现在在整个 EA 里面大家关注 AI safety，大家的主流立场是我们应该尽量去减缓 AI 的发展，就是至少说我们在保证安全以前，AI 它不应该那么快速的发展。那相对应跟它立场相反的就是我们说的 EX 派，就是以 a16z 为代表，他们是希望能够加速 AI 的发展的。所以刚刚其实你有提到比如说在 2015 年，然后有效利他主义他的全球峰会是在谷歌举行的，伊朗马斯克他也出席了他们的活动。但是我觉得今天站在这些创始人各自不同的立场上，可能有些人认为我们还是要去让 AI 加速发展，因为它已经变成了一场竞赛了。 但是同时安全问题也是大家关注的一个非常重要的点，所以你觉得我们应该因为 AI 安全的问题，现在减缓 AI 的发展速度吗？嗯。
Afra｜00:36:17 我首先想要回答你刚刚说的就是 e/acc 和 EA 之间的一个张力就是 e/acc 这群人他其实和 ea 是很不对称的 e/acc 他其实完全没有形成一个真正的力量就是所谓的 acc 那群人认为自己是有效加速主义者是 e/acc 他其实是一个没有那么清晰的现象就是 e/acc 其实在很多人眼里是一个广告自己对于 AI safety 有了非常多新的理解吧。我变得更加愿意去相信 RSI，也就是 AI 的自我迭代、自我进化的这个速度，和现在的 RSI 的进化曲线，是一个让我觉得有点忧心忡忡的事情了。 然后有好几个研究员都跟我说，就是过去一年 AI 的进步甚至已经超过他们自己原本的预期。对，我觉得现在就是一个前沿的 AI 发展是一个很严重的认知论的问题，然后这个认知论我不知道该怎么解，所以我觉得可能现在放缓一个 AI 的发展，尤其放缓 RSI 的这个发展可能是一个好事，就是让大家先坐下来相互说一说，就是到底应该怎么办，到底发生了什么，我们能不能用人话把这些事情解释清楚，然后再去进行这个疯狂的 AI race。
Yiwen｜00:37:40 嗯，非常精彩，最后这一段，那谢谢 Afra。
Afra｜00:37:41 好，谢谢。
Yiwen｜00:37:54 刚才和 Afra 聊下来，我们看到了 EA 怎样从一场讨论如何更有效地做好事的运动，逐渐影响了今天的 AI 研究、资金流向甚至政治议程。这些思想能够产生今天的影响也离不开背后巨额资金的支持。比如当下最大的慈善机构 Coefficient Giving，从 2014 年以来累计推动的拨款已经超过 70 亿美元，其中多数资金来自这对夫妇。Facebook 的联合创始人 Dustin Moskovitz 和妻子 Cari Tuna 创办的 Good Ventures，资金流向了全球健康、动物福利、疫情规范以及 AI 安全等领域，也支持了一批研究机构和人才培养项目。 另一位重要的捐赠者就是 Vitalik。2021 年他曾经向多家慈善机构捐出一批加密货币，媒体按照当时的价格估计约 15 亿美元，用途涵盖疫情救助、全球健康和科研等领域。不过加密货币价格波动很大，账面价值与机构最终拿到的钱可能相差很多。其中他捐给未来生命研究所 FLI（的那批代币，据他后来回忆，最终兑现了大约 5 亿美元。FLI（也明确表示，Vitalik 是他迄今最大的捐赠者，远超其他人。所以接下来与 Vitalik 的对话，也是与一位重要捐赠者对自己选择的回顾。他当初为什么支持这些机构？ 当他们后来的方向与自己的期待出现分歧，他又是怎么看的？
Yiwen｜00:39:25 这个特别巧，因为是我问 Afra 就是我们想做一期关于有效利他主义的节目，然后问 Afra 有谁可以跟我们一起聊一下，Afra 直接说，要不就直接叫 Vitalik 来聊一下。所以你为什么觉得 Vitalik 非常适合聊这个节目？
Afra｜00:39:38 对，我觉得 Vitalik 比较适合做这期话题的嘉宾是因为我之前看他的一些博客，比方说教人们怎么更加有效地做一个 Digital Nomad，就是你应该去打包什么行李。然后在这个打包的行李的这篇文章当中他就有讲解，就说他从来不做商务舱。但是在那个时候，如果这篇博客是三四年前写的话，那他其实已经是一个身家好多好多个亿的人了。但是他不做商务舱的其中一个很大的原因就是因为他觉得做商务舱的一张机票其实可以挽救很多人的生命。这其实是一个底层逻辑非常就是有效利他的很 EA 的一个逻辑。 之后呢，在三年前的 2023 年，我参加了 Vitalik 在黑山组织的他自己的这个 Network State 叫做 Zuzalu。在 Zuzalu 的两个月当中，我就认识了很多 EA 这个群体的一些成员，然后包括接触了他们的很多哲学思想和他们当时很在乎的一些议题，就其实当时已经开始的有一个对于 AI 安全的整体的转向。对，我觉得就是其实我对于 EA，对于这个 Rationalist，所有的思想逻辑，所有的 ideology，其实都是从 Vitalik 这边来的。
Yiwen｜00:40:36 那 Vitalik 你要不要讲一下你最初接触 EA 是什么原因？当时它是什么吸引了你？
Vitalik｜00:40:48 大概我第一次听到了那个理性主义和 EA 这两个概念，可能是 13 年和 15 年之间。那个时候两个都很早期。Eliezer Yudkowsky 他是在理性主义的那一边，但是她有一个博客叫 LessWrong，写过很多很多的文章叫 Sequences。他们在谈关于什么物理学、道德，所有的有意思的话题。那 Effective Altruism．的这个群有人说其实我们大部分人做的慈善大家的目的是非常好的，大家的心是非常好的，但是大部分的效率是很低的。他们在那个时候讨论了很多在非洲健康的问题，就是他们有一个很出名的一个 statistic，就是如果你用那个时候是两千美元给一些在非常穷的非洲国家的人买那个蚊帐的时候，你可以防护很多人，防护他们的疟疾，那就可以生很多很多人的命。 他们的一个 statistic 就是你每一次付两千块你就可以救一个人的命。其实大部分的人他们会花两千块做什么那有可能是一个工厂的机票如果你是一个非常非常的土豪那有可能你会买一个私人机比如从亚洲去美国可能会需要二十万块你可以想一想就是第一个选择二十万块那你可能 12 个小时可能 24 个小时更舒服第二个选择就是你可以救 100 个人的命。哇，那如果真的是这样子的，那我自己也必须花自己的钱到这样的环境。2016 年和 2017 年的时候，以太币涨了 10 倍。就是我把一小部分的我的以太币都卖掉了，转了给那些组织。 有时候是捐给非洲的那些买蚊帐的，有时候我也捐了一些其他的，就是我也特别支持 Aubrey de Grey 的那些 Longevity 的话题。他说我们现在几乎有 100%的资金。有足够的技术，就是可以活到 150 岁或者 200 岁或者还更多。这个话题是很重要的，但是几乎没有人研究。所以我大概就是我自己用了同样的那个算法，我就是说好，就是现在这个领域有的钱可能是一百万，可能是三百万。如果我自己给一百万，那我可能会加速一个月，那就可以救可能一百万个人的命，还可能更多。所以我往这个方向就开始思考了，我就开始捐很多自己的钱给这些领域，包括那些 Global Health，包括 Longevity，还有更多。 所以我大概从 2017 年和 2018 年开始就给他们比较多自己的钱。
Yiwen｜00:44:17 所以 Vitalik 您刚开始关注 EA 的时候，其实您关注的话题主要是像 Global Health，然后刚才提到的这些 Longevity，就更多是健康方面的这个议题。嗯，对。
Yiwen｜00:44:36 OK，那大家因为刚才提到了理性主义，我们要不要讲一下 Yudkowsky 的核心思想是什么样的，然后包括 Scott Alexander，因为他是做了 Slate Star Codex 这个播客嘛，然后也是在这个圈内影响非常深的这样一些算是思想的源泉吧，还有文本。我们能不能聊一下理性主义和有效利他主义的区别，然后这两位关键的人物他们的核心思想是什么样的？
Vitalik｜00:44:55 我可以简单地说 EA 最核心的目标就是帮我们了解怎么最有效地帮助其他的人的生活。那理性主义是帮我们更有效地思考，怎么更理性地为了帮助其他的人做事情。所以在《Less Wrong》，那个 Yudkowsky 会有很多文章关于很多很多的哲学的话题，就是人是怎么错误地思考，然后你怎么能思考得更准确地，你怎么能犯少人的错误，就是在生活的每一个方面。可能十年后有一个人在做了一个书那个 Rationality from AI to Zombies 那也是 from AI to Zombies 这个名字他是故意选择的就是 AI 是因为他那个 Yudkowsky 大概从 1995 年开始他就知道了 AI 是一个非常重要的科技。 其实他一开始认为 AI 会对人类非常非常好的，所以我们应该非常快地让一个非常强大的 AI 进来帮助我们解决我们的所有的问题。但是他自己多思考了这个话题，他也发现了这个 AI alignment problem 是很难解决的。如果你做一个非常聪明的 AI，那你怎么能保证它的目标是跟你的目标是相同的？有一个很简单的例子就是如果你有一个非常聪明的 AI 那你给他一个目标比如治所有人的癌症就是做一个没有人有癌症的一个世界如果这个 AI 不够了解你的意思那我可能把整个世界就毁灭了，就是这个世界没有人就没有癌症了。 这是一个非常简单的例子，但是它有一个这个核心的概念，就是一个 Value Fragility。如果你在设置一个非常聪明的 AI 的目标的时候，如果你只犯一点点的错误，那还是有风险，会有这种结果。对，所以 value fragility 是一个话题。第二个很重要的就是他说的一个 orthogonality thesis。很多人他们会说那一个更聪明的 AI，他一定也会比我们更好。但是他思考了这个话题好多，他最后他发现了其实这个理论是错误的，就是其实你的思想的能力和你的目标是两个完全不相同的事情。 有可能有一个很善良的但是很笨的 AI，有可能有一个善良的和聪明的，有可能有一个邪恶的和笨的，但是邪恶的和聪明的也是有可能的。善良的这个概念不是一个宇宙的一部分，只是一个人的一个进化制造的概念。所以如果我们要做一个对我们好的 AI，并不是一个会自动的 by default 发生的一个事情。但是我们需要非常努力这么做。所以他了解了这两个之后，他发现了他之前的思想，因为他之前可以说是一个 accelerationist，是非常笨的。如果他自己是那么长时间没有意识到这些概念，那这个意味着帮助人能够更好的思考是非常重要的。 所以他开始了写很多的文章，他开始做网上的一个 Community。所以就是 AI 变得更 rational 的一个很重要的原因，又是如果你在用不对的思想开始做 Super Intelligent AI,那最大可能就会发生非常大的错误。那 Scott Alexander 他是一个第二个很重要的一个人物，他有很长时间有一个 Blog 叫 Slate Star Codex 那个 Blog2021 年的时候他搬到了另外一个 Blog 现在叫 Astral Codex Ten 然后在这里面也有复杂的故事但是他的文章也有很多非常聪明的但是他关于政治说了比较多关于那些 Culture War，就是我们现在会说的那些 Woke 和 Anti-Woke，会说的比较多。 所以他会写更多的，有时候 controversial 的，他们的核心都是我们怎么能更合理的，就是更聪明的一个思考。对，所以 Effective Altruism．其实是另外一个群，他们有很多很多的连接。尤其是那个时候大部分的 Active Altruist 他们也会读就是所有的 Yudkowsky 和 Scott 在写的东西。但是他们的一个群就是在英国在牛津大学有很多。在牛津上也有那个 William MacAskill 他比较早期开始了捐很多自己的钱。对所以这个群的核心可能有两个就是第一个是更 academic 的 philosophers。 很长时间做教授的那些人就是 Yudkowsky 和 Scott 他们两个都很明显的都是自学的那 EA 的他们更 conventional 一点所以他们在大学里学了很多他们参与了更主流一点的体系 EA 的群的另外一部分这个也是很重要的部分就是有钱的人吸引有钱的人是他们的一个目标如果你有钱，但你想做好人，但你也会有很多的心理。所以，Jaan Tallinn，他是 Skype 的 Co-Founder，他很早就参加了 EA。还有那个 Dustin Moskovitz,其实有很多的他们是很安静的，就是他们也不会那么大声地说话。 EA 的社区有好多这种。对，所以理性主义的这个群他们只会思考。EA 的群可能会一半是思考，一半是做。那做的大部分就是人，但是他们也开始了有自己的组织，把他们的过程更形式化一点。每一个 charity 的一个效率是多高的，怎么选择最好的。他们的钱到底能帮助多少人？
Yiwen｜00:51:52 然后大概 15 年和 20 年之间，EA 开始变得越来越 institutional，就是它开始做自己的机构，所以他们就不只是一个社区，就是一个比较复杂的一个体系。其实我非常好奇，Afra 你可能对这个也了解比较多，就是他们认同自己是有效利他主义者的人和认同自己是理性主义者的人，他们之间有很多的冲突吗？他们会互相认为对方的思想是不正确的吗？
Afra｜00:52:07 其实这个问题…这个问题我也是在大概一周前才搞清楚的，就是因为我直接去问了一个 Rationalist 领域的元老之一，他名字叫 Zvi，他写一个叫做 Don't Worry About The Vase 这样一个 newsletter，这个 newsletter 主要是关于理性主义思维还有 AI 安全问题的。Zvi 就说其实有的时候一部分 rationalist，就理性主义者，他们会认为 EA 抢走了一些理性主义者在很多年之前就已经发现的，就比方说 AI 安全问题的这样一些见解的功劳。 比如说十几年前开始担心 AI safety 问题的人其实是 Yudkowsky，但是 Yudkowsky 他从来没有认为自己是 EA 的一个成员，但是 EA 的一些成员就会说 Yudkowsky 是他们的人。对，我觉得就是在现在 AI 安全领域和 AI 对齐领域，它变成一个更加具体的研究和实践的领域，也是因为我们现在在很大的 AGI 浪潮当中，所以很多研究 AI 安全问题的人，他其实有可能不认同 EA，也不认同 EA 所秉持的这种长期主义，甚至不认同理性主义，甚至没有看过 LessWrong，但是他们仍然在研究这个问题，仍然非常担心 AI 会有一个系统性的失控。 所以说就是对我觉得就是现在可能大家在提到 Rationalist、EA、AI safety 的时候会把这几个词混用，但是其实我觉得就你一旦进入到内部的这个群体之间的这些关系，你会发现它其实是一个来得早来得晚，然后以及有很多分歧的人和人之间的小圈子。
Yiwen｜00:53:48 那 Vitalik 你觉得你开始关注 EA 的时候，你对 AI 安全的思考是什么样的？就是你当时捐款然后去接触一些这个组织，他们对于 AI 安全的涉猎是大概什么样的一个情况？
Vitalik｜00:53:54 那个时候我的关于 AI 安全的思想还是非常抽象的。我知道了 AI 理论上是一个非常重要的话题。有可能他们说的是真的，有可能 AI 的安全就会决定人类未来的命运。但是不管这个可能性的效率是 150%、0.1%但是现在就是在那个时候思考这些话题和研究这些话题的人非常非常少有个机会就是你可以花可能 100 万、可能 500 万就这么多那你可以自己加速这个整个领域可能六个月、可能一年这个结果是非常大的所以就是一个我们都应该做的一个 bet 所以我的 Longevity for the AI Safety 从开始有这样的想法。 2020 年和 2023 年之间都变了非常多，主要的原因就是 AI 变成了一个真正的话题。因为 2015 年我们现在在说的 AI 是几乎不存在的。我们大概 2018 年担心的所谓的 AI 可能就是那个摄像头和 AI 帮助的这个数字监控。对，所以那个时候和 2023 年已经是非常不一样的，那个 GPT-3 出来的时候就改变了非常多。对，所以〔转写异常：此处一句原音不清〕就是 2023 年的一个春天，一个 ChatGPT 出来了，我们开始了理解就是有可能 AI 真的会发展得非常非常快，那 AI 也真的会给我们带来很多很多的变化。 对，所以大概这个时候可能所有人的思想有非常大的变化。所有的人能做什么也有非常大的变化。可能 2022 年之前唯一的答案就是你怎么能多帮助研究，人类知道的更多那对我们更好。但是 22 年之后就变了，就是从一个抽象的话题就变成了一个具体的话题。
Yiwen｜00:56:08 你会担心 AI 的安全问题吗？
Vitalik｜00:56:20 大家问我的那个 P(doom)、AI 或者其他的风险会完全毁灭我们的世界，就是人类会不存在的概率，为什么 0.1?我为什么说 0.1，为什么不说 0.03，为什么不说 0.3?其实说得更明确是很难的，因为我从开始就有非常大的这个 uncertainty。因为有很多很多的不确定的点。第一个点就是 AI 的发展会多快的。就是有可能到达大家说的这个所谓的 AGI 会需要 10 年，可能 300 年，就是第一。第二，Yudkowsky 说的这个 Alignment Problem 到底是不是一个真正的问题？ 会不会这个问题很简单地解决自己？因为我们可以回到第一个我提到的这个例子就是就是我们做一个非常聪明的一个 AI 我们跟他说希望有一个没有癌症的一个世界那这个 AI 觉得那最简单的办法就是把整个世界就毁灭了就是把所有人都杀了其实如果你现在跟 Claude 和 GPT 和现代的 AI 说话你就知道现在的 AI 他们其实比较了解 context，就是他们了解我们的含义。这是一个十年前比较难预测的一个变化。但是这个也不一定意味着 alignment problem 不是一个非常大的问题。如果你现在问那个 Yudkowsky，就是你跟他说，就是你看现在的 AI，如果你跟他们说要治癌症，他们就不会完全毁灭这个世界。 那是不是 Alignments 的问题解决了？他会说并不会。这个问题只是 Alignments 的问题的一小部分，还有很多其他的部分，还有很多的，就是我们完全没有解决、完全不知道的风险。这里的不确定性也非常多。对，这是第二。第三就是政治的这个不确定。因为现在有不同的国家有不同的人有不同的公司都在做 AI。在一个竞争的情况下大家有不同的目的，大家同时希望有安全。大家也希望自己赢了。如果比如在 AI 变得非常危险的时候就同时第三次打仗出来了，那可能会最危险的。并不是因为什么技术的问题，而是因为在那个时候大家会最不思考安全，就会只会思考就是自己赢了是最重要的。 对，所以就是有技术的不确定性乘以另外一个技术的不确定性乘以真正的不确定性就乘以更多更多。所以 AI 是不是对我们真的会危险是非常难预测的。
Yiwen｜00:59:27 嗯，对，因为我注意到您在 2021 年的 5 月 12 号应该是同时捐赠了非常多的 EA 的组织，然后在 2017 年其实是捐赠了 Yudkowsky 他当时创建的这个机器智能研究所，MIRI 的这些组织。可不可以讲一下就是在 2021 年的那一天您在捐赠很多组织的时候，当时你在想什么，然后你是怎么样做出这样的一个捐赠的决定的？
Vitalik｜00:59:49 嗯，对，这个故事是非常好玩的。其实这个故事可能 2016 年开始，从第一个所谓的这个 Meme Coin，就是 GoGoBee。狗狗币就是 Dogecoin。它 16 年出来的，就是它有一些开发者他们说，我们要做我们自己的一个新的币。大家都在做自己的币，都在做自己的链。我们要做一个，是一个 Lightcoin 的一个分析，就是 GU Lightcoin 的一个代码。那我们的这个新的链我们的新的币是做什么的？什么都不做。那你为什么要买？因为有个狗狗，这个狗狗很可爱。那个时候大家都并没有思考可以这么做。 那个时候就是……还是更理想主义的。他们也就觉得这个很好玩。我们做这个笑话。我们在一起做一个完全没有用的一个笔。我们把它发了。那个狗狗币它从开始就变得特别火。其实我自己在 16 年的时候我花了两万五千美元买一些狗狗币。我的那个钱都变成了可能一千多万。对，所以我也是一个早期的一个狗狗币的投资就比较成功。
Yiwen｜01:01:07 狗狗币是第一个 meme coin 吗？我好奇，就是真正意义上的第一个 meme coin，对吧？
Vitalik｜01:01:16 对，就是第一个很多人知道的一个 meme coin。2020 年的时候，狗狗币是非常非常成功的。很多人开始了思考，那如果第一个狗狗币能到达一个 500 个亿的一个市值，那如果他们自己开第二个狗狗币，如果这个第二个狗狗币能够到 80 个亿，那这个也是很爽。所以他们都开始了发自己的狗狗币。所以最大的就是 Shiba Inu 那一系。他们也做了一个很好玩的一个事情，就是他们把他们的币的那个 supply 的一半放了在我的钱包里。因为我的那个钱包有个公开的地址，他们把他们的第一的 supply 的 50%都放到里面。 那个时候我的那个钱包是一个冷钱包，那个钱包的私钥只在两个地方存在了。第一个地方是一个电脑，就是一个跟互联网完全没有连接的一个电脑。那个电脑那个时候才买没多久。第二个地方就是有两张纸，就是每一张纸上有一个数字。一个数字是在多了很多，另外一个数字是在我的背包里。如果这两个数字加起来，又会变成那个私钥，所以就是一个 paper backup。那个时候还是疫情的那个时候，所以我很长时间什么都没有做。但是有一天我发现了，哇，一些币的市值就真的到了 80 个亿，就真的非常非常夸张的。 所以我就选择了，那好吧，他们有可能一周之内他们的市值变得那么高，大可能一周之后这个泡沫就会被炸了，就是他们的资金会很低。我那个时候在西雅图我买了一个新的电脑我给我的妈妈打电话我让她读在多伦多的那个纸上的数字我在电脑里把两个数字加起来了我有了那个资料我研究了那个 Gnosis Safe 就是一个更安全的一个多签的钱包的代码就是我自己把那个 Gnosis Safe 的整个代码两天之内读完了就是为了会有一个新的我能放我的以太币的一个钱包。对，所以我做了很多的很复杂的工作。 最后我把那些狗狗币拿出来了。然后我把那些他们给我的，他们放到我的钱包里的那些狗狗币卖了。一开始我把他们很快速就卖成以太币了。大概我赚了可能 7000 万美元的以太币。我把大部分赚了给 Against Malaria Foundation，就是他们给人买那些蚊帐的那个组织。这个钱可能是我会能够拿出来的最多的钱，那应该给一个比较安全的，不太有争议的一个组织。也许有一些人会说给非洲人买蚊帐是一个你能做的非常非常就是最重要的事情，也有一些人觉得这个不怎么管用，但是没有人觉得这是坏的。 我也给了一些 Longevity 的组织还有一些其他的。我因为 market depth 不够高，完全没有这个 liquidity，让我卖那么多的那些狗狗币。所以我卖成以太币之后，我还是留下了非常非常多。所以我就决定了，那好吧，那大可能现在这些币都会跌得很快，都会跌得很散。那我还是把我剩下的币给一些其他的我觉得比较好的组织。如果他们自己卖掉的时候，他们能拿到一点点，那就好。就是在我的思想里，他们最多能拿到可能是两千多万。对，所以我给了可能一半给印度的一个抗 COVID 的一个组织，另外的一半我给了 FLI。 FLI 是 Future of Life Institute，他们在那个时候是一个研究开始对抗所有的 existential risk 的一个组织。是他们研究了生物相关的风险，AI 相关的风险。核战争相关的风险，就是每一个非常非常大的风险，他们有一个部分在研究。他们给我介绍了他们的一个计划，就是他们说了他们理论上能达到最多一个亿，但是两千万他们也能做非常多。那所以我说那好吧，我给你们我的这些 SHIB。对，所以三个月之后我发现了，
Yiwen｜01:06:26 那些狗狗币他们并没有跌，所以 FLI 和那个印度的 CryptoCovid 卖完了他们的币，他们一共就是几个组织拿到了 4.7 个亿。印度的 CryptoRelief 的组织对不对？
Vitalik｜01:06:37 对。然后 FLI 他们我不知道他们具体拿到了多少，但是有可能 4 个月有可能 6 个月就这么多。
Yiwen｜01:06:38 嗯，4 到 6 个月。
Vitalik｜01:06:49 对，我完全没有想象的一个结果，就是如果我想过这个结果是有可能的，就是我会做的事情会非常非常不一样的。但是是这样发生的。所以我下一年其实我跟 CryptoCovid 的那个组织的 Sandeep 聊天了就是我启文说他把他的钱的一半还给我。然后我们开始了做自己的一些抗疫情的工作，包括研究过滤器、疫苗，我们捐了给一些开源的疫苗的公司。一个是 RaDVaC，一个是 PopVax。那个 PopVax 他们上周又发布了一个文章，就是他们现在的发展非常好。所以现在至少一部分的 open source 开源的 email 现在是存在的。 对，所以就是一部分还有有关关于疫情的关键课题。所以我们开始了看你所有的 airborne disease 支持的这种项目。对，所以我们用了两个亿就做非常多。然后 Sandeep 他用了他的两点七个亿。可以说是 level up 印度的整个 medical manufacturing 的这个能力。FLI 他们大概在这个时候 GPT-3 出来了，所以他们的思想有一个非常大的变化。第一是他们从关心所有的 existential risk，他们变成了只关心 AI。第二就是他们从一个研究的态度变成了一个政治的一个行动的态度。 他们开始了用一个很具体的 strategy，他们开始了思考，应该支持那些法律，应该支持那些什么中科。他们开始了做很多我要么不认同，要么如果是我的钱，我不会自己做的事情。所以他们就开始了走自己的一个方向。然后我跟他们说了两三次就是我们用那两个亿的钱做的那些看 airborne disease 的工作的项目和他们的结果。因为我跟他们说了就是我的原来的目标就是支持所有的 anti-existential risk 的领域，所以我就是希望他们 diversify，我有很多已经成功的项目他们可以 diversify，但是他们拒绝了。 要把他们的钱都放到一个 AI centric 和一个 policy centric 的这个方向。同时他们的那些法律就开始出来了，然后有很多的 a16z 就是有很多的那些硅谷的投资者开始很不开心。所以他们就开始了把 AI safety 当他们的这个主要的基准，这个大概 2023 年的时候开始的。
Yiwen｜01:10:17 你当时选择捐赠的时候，它其实有非常多的组织嘛，然后您刚刚提到了像 Crypto COVID Relief 跟 FLI，你是捐赠的 SHIBAN，还有一些捐赠的是 ETH，我注意到你还捐赠了 GiveWell 跟 MIRI，这四个组织你是怎么选出来的，当时是会有一个什么样的目标去选择了这些组织？
Vitalik｜01:10:27 大概我在每一个领域我选择了一个大家认同的一个比较 default 的一个作者。大概我选择了每一个我认为很重要的领域。如果你 567 年前问了那在一个领域里面应该专业谁，大可能会有同样的答案。
Yiwen｜01:11:00 你觉得现在你的这些想法有变化吗？就是怎么捐以及如何捐，包括其实捐赠以后我们也看到整个世界在发生变化，AI 在迅速地成长，他们可能把这个潜用的方向跟开始，我们想去非洲治愈疾病会有一些初衷会不太一样。
Vitalik｜01:11:07 我觉得 EA 里面有一个重要的概念就是 neglectedness。neglectedness 的意思就是有没有其他的人已经在做。比如我们可以思考一个问题就是水。水是非常重要的。就是有可能在非洲有这个问题就是给有一些人有脏的水，如果他们有干净的水，他们不会有什么病毒，那这个已经是一个 Global Public Health 的部分，这个 EA 的组织已经在研究。但是我们自己参与是没有意义的，因为已经有非常多其他的人在思考。所以，in the neglectness 的这个概念就是如果一个话题是〔转写异常〕的，那现在已经思考这个话题的人是不是真的太少了？ 大概我十年前认为每一个 EA 和每一个理性主义相关的包括其实 EA 他们从来没有理解为什么但是他们从开始没有特别研究一个 Longevity 但是他们每一个领域十年前都是非常 neglected 的但是现在我觉得并不是这样子的但是现在 AI 的安全是一个非常高级的一个话题还有在 Longevity 的这个话题，Global Public Health 其实 2025 年的时候它受了很大的伤害，因为那些 Elon Musk 做过的 Doge 和那些美国的那个政治的变化，就是他们之前支持了很多的 Public Health 相关的，他们很快很快就停了，制造了更多的问题，所以 Global Public Health 我觉得现在是变得更重要的。 但是比如在那个疫苗的那个话题就是现在开始疫苗有很大的问题，但是发展现在也有。所以现在有可能那个 Global Public Health 还是一个非常值得支持的一个问题。但是大部分的其他的就是他们的问题现在并不是 neglectedness，他们的问题是如果大家做的不对，那就意味着问题并不是资源太少，而是大家做的这个方法可能是不对的。〔转写异常：此处一句原音不清。〕
Yiwen｜01:13:34 嗯，现在你本人会关注 AI 安全问题吗？因为我发现我们在说 EA 的时候，它的重心是有好几波的转移的。最开始可能是有比如说全球健康问题，类似于蚊帐问题、蛆虫问题，中间还有一波大家有一段时间我记得还关注过动物的福利问题。现在来说它其实就是长期主义和 AI 风险。对。所以现在 AI 安全会是你关注的问题吗？还是你觉得它已经有人在关注了，你更想把注意力转移到其他更多更重要的问题上？
Vitalik｜01:14:12 我觉得现在越来越多的问题是跟 AI 安全有关系的，所以不思考 AI 安全是有点难的。但是现在更大的问题不是研究 AI safety 的人不够，而是那些 AI 公司里面很多的 incentives，就是很多的激励都是比较 broken 的。就是 OpenAI 和 Anthropic 他们都希望自己的公司赢了，所以他们都做得非常快。如果现在大家 AI 的发展做得那么快，其实风险是最多的，因为我们就不会有足够的时间去思考怎么把 AI 做的安全，怎么能用 AI 做一个我们希望有的一个世界。还有一点大可能最重要的并不是我们现在做的 AI 安全相关的研究，而是一个就是那些公司在做一个最强的 AI 的时候，他们的目标是安全还是他们自己赢了是最重要的。 现在我们大可能会需要用现在的 AI 的版本，就是我需要用 AI version n 为了研究 AI version n plus one。我们会需要现在的 AI 的级别去足够了解下一个 AI 的级别相关的安全的问题。所以大可能我们三年四年前做过的 AI safety 的研究也不是很有意义的。他们会发现就是我们花了很多的时间、很多的资源在研究一个 AI 安全，发现了现在在一些最核心的问题，包括是 AI Alignments 的问题，并没有很多的发展。所以更重要的我觉得不是我们现在做的研究是多少，而是那些做 AI 的公司在做一个最强的就是开始有非常大的风险的 AI 的时候，他们会不会放足够的注意力做了安全？ 这个我们不太知道。然后确确实实的问题也并不是一个研究的问题，就是真的开始了变成一个 Policy 的问题。但是 Policy 的问题的一个最大的挑战就是你很难知道一个 Policy 是好的还是坏的。对，所以一个 Policy 的问题是跟之前的 EA 的人思考的问题是非常不一样的。因为之前的 EA 他们平常会思考的问题就是，如果你捐给一个 Charity A，那你可能会救 10 个人的命。如果你捐给一个 Charity B，那你会救 100 个人的命。那你的挑战就是你要知道那个是 10，那个是 100。 但是现在是完全不一样的，是因为你曾支持一个政策，那那个政策有可能它会有好的效果，也有可能它会有坏的效果。其实都知道那个效果是好的，那个效果是坏的，是很复杂的。这个政策它有一些直接的效果，就是它怎么直接影响那些公司的激励。它也有一些直接的效果。比如，如果一个很有钱的人比较公开地花五个亿就支持一些政治的话题，那很可能其他的人会很不开心，他们都会觉得那有一个土豪在影响我们的政治。然后那个 AI safety 的这个 agenda 他们会开始觉得那就是一个只有土豪思考的那所以很多很多人就可能会开始反对 AI safety。 这种就是一个 man vs man 的一个问题因为至少在加拿大的学校我们在研究那个 literature 在研究那个文学的时候我们会说就是有一些是 man vs man，有一些是 man vs nature。man vs nature 就是人 vs 天 人。那 man vs man 就是两个人聚集在大家。man vs nature 其实更简单，man vs man 是特别复杂的。因为你在对抗的那个挑战是跟你一样聪明的，所以你做的事情，有关冲突的解决是非常复杂的所以我觉得 EA 的思想在人与自然的设定里我觉得是非常关键的
Yiwen｜01:18:46 在人与人之间的设定里比较复杂很多我觉得这个说得特别好。就我觉得你刚刚讲的那个关于只有土豪在关注 AI safety 这件事情，它好像已经发生了。而这个大家好像已经就觉得就是和 EA 有关的这些捐赠，其实已经导致了对 AI safety 现在和 EA 的联系非常的密切。然后包括说互联网上也有很多对于 EA 反对的声音。就是因为很多 EA 相关的组织，他们和最近我们看到的一些比如说安全研究员，他们从 OpenAI、Anthropic 离职就是有很大的关系。
Vitalik｜01:19:29 对，所以这个也是一个很多 EA 的人做过的一个很大的错误。其实这可能是从 FTX 的那个事情开始。因为如果你骗很多人的钱，那你同时用这个钱传给一个政治的话题，那一定很多人会开始觉得那这个政治的话题就是骗钱的人会思考的。他做过的那些大规模的这种事相关的事情就同时有非常多的错误。还有一点就是其他的人能怎么知道他们是不是犯错误的。一部分是了解这个问题，但是其他的部分就是了解其他的人。就是大部分的 AI 他们都并没有意识到 SBF 有可能是有问题的。有可能也是一个就是 man vs nature 变成 man vs man 的一个例子对就是因为 EA 变了更 institutional 和更 political 之后以前的一个思维的方式就开始变得更容易反作用的然后现在 EA 已经有分成了很多很多复杂的不同的部分，因为很多 Anthropic 的人他们也是很长时间关注 EA 的。 然后现在也有那些 Dustin Moskovitz，也有一些 FLI，也有很多其他的。他们念每一个都会说的是他们和其他的是不一样的，但是他们编的特别复杂的，他们也有很多也觉得 Anthropic 是不好的，但是 Anthropic 自己也一定是觉得 Anthropic 是好的，对，所以就编的很复杂。
Yiwen｜01:21:30 嗯，对，我觉得这些大公司好像都在变，如果归纳总结一下，感觉硅谷有这样几个大的派系啊，就是 EA 是一个，然后理性主义一个派系，然后还有一个就是以 Andreessen Horowitz、a16z 这一派为代表的 e/acc，他是 AI 加速主义，感觉现在应该主要是这三大 AI 流派，还有你的 d/acc，对对对，
Vitalik｜01:21:30 其实也有更多，我可能会说第一是支持 Anthropic 的 EA,第二是比 Anthropic 更远的 EA。第三还有 PauseAI。PauseAI 他们是更 populist 一边，然后他们是更愿意跟一些更主流的人合作，他们也更愿意去接受所有的理性主义和 EA 是不好的。第四对就是 e/acc，包括 Beff Jezos 还有 a16z,理性主义者他们的这个位置现在是很有意思的。他们有很多人他们的思想也是很不一样的。但是他们也一直会觉得他们和 EA 是类似的，但是也有很多很重要的区别。 如果你现在看到理性主义的人的一些行为，你会发现差距是很大的。从开始我的解释就是 EA 是更思考那些他们可以做的事情是正确的。那理性主义他们的主要的 motivation 就是 curiosity，就是思想。他们喜欢思考很多有意思的话题，他们喜欢更公平的思想。我觉得理性主义者他们从开始就更喜欢玩。EA 他们是非常严肃的、非常认真的。我们才救人的命，我们不能玩。我们有我们的工作，我们是拯救这个世界的战士。但是理性主义就是他们从开始就是比如那个 Yudkowsky 他写了那个书那个 HPMOR，那个 Harry Potter and the Methods of Rationality,那个书可以说是一个不知道一个 fanfic 也可以说一个 parody 的 Harry Potter 它的讲述就是如果 Harry Potter 是一个理性主义者那他怎么会看待 Harry Potter 的世界我觉得那个书其实很好玩那个 Scott Alexander 其实有更少的人知道他也写了一个书叫《UNSONG》的那个 UNSONG，他的书也很好玩。 然后那个 Yudkowsky 他开始了写的更多，就是他有很多 anime inspired 的那些 fiction。可能上个月有一个活动的 drama，然后有很多的 EA 都对那个活动和 Lighthaven 很不满意，就是你们在做这个活动是很 controversial 的，那其实这个活动的我们的 reputation 不好，就是你们为什么非要这么做，是不是 AI safety 比你们想做的这些其他的事情更重要？但是我一直觉得理性主义的人最终他们不愿意听这种论点。他们不能为了自己的 reputation 接受就是有一些话题有一些行为是封闭的。 他们更喜欢就是 be yourself。人应该重用自己的心。如果你喜欢这么做，如果这个不直接伤害其他的人，那你应该去做。如果其他的人被得罪，就是他们的问题。所以他们不那么愿意 be strategic about how they think,广告有更多人怀疑他们。比如，人在判断政客的时候，大部分的人他们总是会更喜欢简单直接的答案。大部分的人他们也会更喜欢，就是如果一个人很明显地隐藏自己在想什么。这个也可能也是一部分就是为什么有很多人是喜欢川普的和不喜欢那个民主党的。
Yiwen｜01:25:59 对，所以 EA 的人就是他们确实会特别努力的特别 optimize 自己的一个 public perception，但是这个有时候还是会有一些他们很难预测的后果。
Yiwen｜01:26:13 我还注意到其实我们现在说刚刚我们提到的几股派系的时候，EA 它是真正把钱跟机构运转起来的，但是我们说理性主义者他好像并没有拿很多的钱。e/acc 我可以理解背后的力量它其实是有 VC 在 backup 的嘛，我们如果也把这个理性主义者作为一支力量啊，一个运动它不见机构它能走多远呢？
Vitalik｜01:26:30 可能不太多，理性主义者，他们的心里他们就是猫。
Yiwen｜01:26:31 Cat。
Vitalik｜01:26:36 对，把他们放到一个机构里，他们就会不开心，他们会觉得不自由。
Yiwen｜01:26:42 确实，我觉得 Vitalik 其实更是一个 spiritually 是一个理性主义者，而不是一个 EA。其实你做的很多事情其实很理性主义，比方说你最近写小说，对吧？对。
Yiwen｜01:26:48 你在写什么小说？
Vitalik｜01:26:50 科幻小说，非常推荐大家去看。
Yiwen｜01:26:52 哇，叫做《Snowmoon》。OK。刚刚听下来，我感觉这是我听过的对理性主义者最 nice 的一个评价。因为 Yudkowsky 是什么？他八年级的时候就退学了。〔转写异常：此处一句原音不清〕他就是一个小孩，然后他就在家里想，然后他就 come up with 这么一个宏大的世界观，然后就是说 AI 有一天会成为凌驾于人类之上的智能，然后他拿到 Peter Thiel 的钱。然后写这个 Fanfiction 这个《哈利·波特》这个可能有 60 万字吧。就所做一切事情其实就从我们角度来说都觉得他很奇怪，但是可能他确实又影响了这么一批人。 对，所以感觉理性主义者确实是，我觉得我接触的很多理性主义者都是需要很长的时间去理解他们到底在想什么，然后为什么要做这样一个事情。
Yiwen｜01:27:48 刚刚你提到有支持 Anthropic 的 EA 和反对 Anthropic 的 EA，这部分可以展开讲讲，这两类人他是有什么样观点上的不一样吗？
Vitalik｜01:28:08 对，支持 Anthropic 的人，他们会说 AI 是很危险的，但是不做 AI 是不可能的，因为这个世界有很多不同的团队，不同的公司，不同的国家，所以唯一的办法就是如果一个公司有好人，那应该有这个好的公司赢了，因为他们在赢的时候，至少他们会有更好的原则，他们在最需要的时候会花更多的精力就把 AI 做得好。其实有很多的方面你也可以说就是 Anthropic 比 OpenAI 更好你看那些公司他们在公开做什么你看到那个 OpenAI 的那些 internal drama 你看到核心的人的思想和思维是什么样子的还是应该保证至少关心人类的人会变得最强大的 AI 的公司那就是 Anthropic 的人。 然后他们也会说他们真的在做非常多的安全相关的研究。他们的一个 Co-Founder 那个 Chris Ola。其实我有一个好玩的故事，就是我和 Chris Olah 就是跟前主教的那个爸爸，那个 Pope 在下，对对对，研究，对对对，没有对不起，因为在读语在很多语言，Pope 就是爸爸，但是，主教，就是我和他在多伦多，我们去了一个非常小的一个 private school，它叫 The Abelard School，它一共有 45 个人，所以每一个 class 就有 11 个。我进九年级的时候，他在十一年级，他给我介绍了很多关于计算机科学、关于数学。 其实我开始用 Linux，和我开始非常真实开源的一个原因就是他。
Yiwen｜01:29:56 这是一个私立高中对吧？
Vitalik｜01:29:58 对，私立高中，对。我觉得至少 Anthropic 的联合创始人是一个好人。那反对 Anthropic 的观点就是第一，Incentives 是个激励还是很强的。一个人很可能从开始会觉得自己特别好，但是如果把它放在一个更危险的一个有更多的竞争的一个情况，那人会很容易开始找理由说为什么对他好的事情都是对的。不管 Anthropic 是不是更好，他们还是把 AI 的发展速度就加快了很多。现在有这个 AI race 的一个很大的原因就是他们。我最近听到了一个有意思的一件，OpenAI 他们其实愿意把 AI 的发展做得慢一点，所以就是他们 24 年 25 年的时候就没有把他们的所有的资源放到做更好的 Frontier models，他们开始了也做所有他们的那个 Video model 他们开始了做更多，然后今年初出来了之前我觉得我们都会觉得那 GPT 是最强的就是我们都会 by default 在用 GPT 的但是有一个时间他们开了那个 Mythos 和他们给了我们 Fable 之后真的有这个感觉就是那个天命传到他们了，大家都开始觉得 Anthropic 同时是一个更强的大可能会赢的，有很多人开始了用 Claude，那个时候 OpenAI 他们也开始了把他们的很多 side projects 关掉了，他们加速更 focus。 作为非常强大的 models，所以对，就是有可能他们还是帮助了 AI RISK 做得更快，这个的效果也可能会超过他们所有的安全相关的工作的效果，对，就是第一，第二就是，所以这个是理性主义和 EA 批评 Anthropic。一个理性主义和一个 AI 的人怎么会说呢？Anthropic 做的事情是有问题的。就是他们有可能觉得他们做的更安全和他们更好。但是他们还是参加这个组合。他们的 philosophy of safety 就是：我们应该有权利，因为我们好；你们不应该有权利，因为你们不好。 其实这个 philosophy of Safety 就是有很多人是这么思考的，比如独裁是这么思考的。但是很多人也会觉得就是，那好，你们觉得自己是好的，其他的人是坏的，那如果我们不同意呢，谁才决定？他们的这个安全策略，第一就是我刚才说过的，就是他们还是参与这个竞争，只是一个好主意，如果他们真的比 OpenAI 更好，比中国的那些 AI 公司更好等等。但是在这个世界里有很多人他们都有自己的很多的观点，就是我们上周我看到了有一个好像是一个 deep seek 的一个人写了一个文章就是他觉得他们在做开源的这个 AI 是非常重要的他也说了他觉得 Anthropic 英文是一个系统我说的那个 GBA 那样快的一个情况。 对。所以如果一个公司能说我们应该赢，因为我们好你们都不好，那为什么其他的人也不能这么说？他们今年开始了说就是他们反对 Open Source，就是这个变成了一个很流行的一个话题，就是开源的一个 AI 是更危险的。就是因为没有人控制它。但是就是现在按照我的理解，所有的最危险的攻击还是都是通过 GPT 和 Claude 做的。所以你可以听他们的每一个论点，听起来是有可能有道理的。如果你跟他们的前提会同意，那你跟他们的结论会同意。但是你也会发现他们做的事情和他们公司的利益的这个相关性可能高于 90%就是他们真的是为了安全还是他们利用安全和 EA 的这些掩盖他们的我也不想说他们的 profit motive 因为如果你真的相信 AI 就是 profit 并不重要就是他们都觉得这个不是 profit 是大概就是谁会控制未来的世界他们做的事情公开说的论点是很美好的但是他们做的事情和提高他们自己的权利的事情的这个相关性高于 90%那我们应该这么想对所以大概我可能会把这个就是中强的这个 critique ofanthropic 大概这么解释的比如那个 PauseAI 的人他们大概也会这么说的，就是很多人就是不太相信 Anthropic 的公司。 他们觉得那些公司他们的 Burn 都是 EA，他们都有很奇怪的这个思维方式。一个奇怪的思维方式是可以有的，但是他们比较明显的觉得他们希望的结果就是他们自己控制这个世界的最强大的 AI。如果你的思想不是 EA，那你为什么会相信他们？
Yiwen｜01:36:05 我觉得他们现在的这个问题还没有很好的答案。其实我也在想这是不是就是这几家 AI 公司刚开始成立它就刻在基因里的问题因为最开始 OpenAI 成立的时候它也是一个非引力组织我觉得它成立跟 AI 安全就有关系然后在中间的过程中其实我看见纽约时报里面的一篇文章写说 OpenAI 早期就是 Greg Brockman 他是每天会带着就是员工去读这个 Yudkowsky 在这个 LessWrong 上的文章的后来其实 Sam Altman 被踢出 OpenAI 是一个标志性的事件其实那个时候就是 OpenAI 非引力性的这一部分的性质就是 EA 的这一部分的组织相当于取得了一个暂时性的胜利但是它之后的回归可能又是 EA 跟 EA 之间的一次抗衡最终 EA 又阶段性的胜利了但是我觉得在它的组织架构从非盈利性到公司的转变，包括 Sam Altman 这种被踢出去又回来，包括现在大家对 AI 安全的所有的讨论，就可能从一开始就是在他们公司基因里，在他们公司价值观里就一直存在的。
Vitalik｜01:37:15 对，就是 OpenAI 的一个很注重的批评的方向。我又一次说过了就是他们一开始是 OpenAI，然后他们 sacrificed openness for safety，然后他们 sacrificedsafety for acceleration。大概真的是这样发生的，就是他们可能 20 年的时候就开始了说呢，GPT-3 太危险了，不能把它开源，因为我们是注重安全的。然后他们一开始有了一些 safety pledges，就是他们许诺了做一些事情做得更小心为了安全。
Yiwen｜01:37:56 但是他们把很多他们许诺过的事情，包括一些给一些政府的组织，他们最后没有做，因为他们的发展是太不方便的。
Yiwen｜01:38:03 你觉得你提出的 d-acc 这个方式是一个替代的解决方案吗？
Vitalik｜01:38:13 那我可以先介绍一点这个 d-acc 的概念，大概就是 defensive 和 decentralized 或者 democratizing acceleration。大概有三个点，就是第一个点是这个 acceleration，就是技术的发展是重要的。第二个点就是 defensive。我们现在需要花更多的能力做一些可以保护我们的技术。比如现在有 AI 的黑客会不会攻击我们的系统的一个风险。那我们需要放很多很多的资源在一个 cyber security 里面。以后 AI 会不会让一些更危险的病毒更容易出来的一个问题。 现在就开始了多做一些抗病毒的事情。就是 defensive 的这个部分。然后还有一个部分就是 democratizing 或者 decentralized。就是我们在做的事情都是不集中全力的。就是我们做的事情是 empower regular people。那这个也包括开源，也包括一些其他的元素。那其实 defensive 和 democratizing 也是很相关的。如果你看比如欧洲的那个中心，比如在欧洲的中心，像瑞士这些地方有很多山，在那个地方其实更去中心化，就是更小的国家更容易有很多的更独立的城市，每一个国家也会尊重每一个地区的自治等等。 但是你走 2000 公里往东边，你会发现完全没有什么山，河也很少。如果有一个人在骑马，他就可以骑 1000 公里，就完全没有问题。那在那些领域更容易就有一个很大的国家，那个国家有一个独裁，就是这个专制就变成一个 default。所以如果没有 decentralized defense，如果没有瑞士和欧洲有的那些山，那唯一的有可能的效果就是 centralized defense，就是一个组织会控制一切。对，所以就是一个 analogy。下一个问题是那我们怎么把在我们的世界里能够做更多的这种 decentralized defense。 所以就需要研究这个数字安全、生物安全。其实这个 pandemic prevention 是很重要的。但是在 pandemic prevention 的领域就是有一些 d-acc 的方式也有一些完全不 d-acc 的方式。我发现了很多的现在 EA 的组织他们会把他们的资源的 80%放到一个问题，就是我们怎么能在 AI 的模型里面不让他们帮助人做更强大的病毒。他们就想在 AI 的模型中解决这个问题。但是这是一个 Centralized Defense,因为如果有其他的人在其他的国家有自己的模型，那他们就有可能不会用你的技术，那你还是有这个风险。 还有一点就是其实我在跟很多的研究抗病毒这个话题的人在研究，他们现在担心的话题也并不是什么科幻的那种超级病毒，他们在担心的是短期更可能会有更多的比较正常的病毒。如果是这样子的话，那其实你们做的那些在 AI 的限制也不会有很多的作用。如果 decentralized defense 是完全不可能的，那有可能是唯一的办法，但是 decentralized defense 也是更 fragile 的，就是它更依靠于你的假设：关于谁会做最强大的模型，危险会是什么样子的，是完全准确的。 对，所以 decentralized defense 就是比如在抗病毒这个问题，那就是有做更好的检测，做更好的过滤器，能够做更快的疫苗，能够把每一个新的病毒更快的发现。他在发生有更快的开始做一个疫苗就是一些更重要的事情但是那些事情是更类似于一个 public health 就是不那么类似于一个玩电脑的一个问题有可能是更有很多人就是不那么容易往这个方向思考因为他需要一个就是他们没有的 expertise 但是就是我觉得这个一边是更能成功，另一边是不需要你自己控制这个世界的每一个 AI 才能成功。
Yiwen｜01:43:01 我特别喜欢你这个说法，因为我觉得我对 AI 安全最大的一个问题就是好像很多的，无论是现在在媒体上被放大的这些说法，还是这些安全救援在 X 上推崇的说法，好像我们都是在考虑长期的这个影响。但是我们在现实生活中已经看到了很多这种短期的影响，比如说像 deepfake,甚至网络安全这些问题。对，所以我觉得我们今天这个播客其实我还是希望能够落脚于对于很多普通人来说吧，我们到底应该怎么样去思考 AI 安全这个问题。然后我知道 Afra 最近其实也有一些想法上的变化。
Afra｜01:43:37 现在其实整个 AI 领域遭遇到了非常多的认知论上的一些问题，而这些其实都是在逻辑上是很难应对的问题。所以现在的现状就是感觉是进入到一个幼儿园，然后这个幼儿园里面有一群娃娃大哭的小孩，但是在这个房间当中没有大人，是因为其实很多研究员也不知道到底是什么情况。但是与此发生的是巨量的资金仍然在投入到各种各样 Data Center 的建设当中，就数据中心的建设当中。按照当下的这种 Data Center 的建设速度来说的话，这种涌现的这种效应只会越来越多，所以这也就回应了之前人们的认为，就是说 AI 的这个能力不会一直这么提高，这种低垂的果子总会被摘完的这样一个现象，但是其实现在当下的 AI 是感觉这个果子的这个数量是无穷无尽的。 所以我自己可能觉得最困惑和有点害怕的地方就是现在这个 AI 的发展是有一个很严重的认知论的问题。就是这些研究员不能用人话和不能用一个数学的方法去解释这些 AI 到底有多强以及解释这些 AI 到底想干嘛。这是让我比较用心重生的问题。然后最近的民调也显示说美国的很多普通民众开始对这个话题感觉到恐惧。就包括 Bernie 啊，然后像华盛顿的一些政客也开始加入到这个 PauseAI 的行列当中。然后同时就美国的这个当下的这个政治现实是 AI 民粹主义非常严重，就是所谓的 AI 民粹主义就是人工智能并不是某种中立的技术，而是被一个科技界的亿万富翁所掌控的一个精英的技术，然后这个技术的目的就是要集中权力并且取代普通人取代劳动者，所以就是人们现在对于 AI 又有这样一种恐慌，然后再加之这种 AI 末日论的言论，再加上就是什么 Jacob Coxon 对吧他自己的吹哨。
Afra｜01:45:14 所以我觉得现在就是这样一个很奇怪的一个现象。就对，因为我觉得我会比较想听的是，你觉得，you know, as a normie，就是作为普通人，你觉得从 AI safety 的这场辩论当中，你希望他们的 take away 是什么？
Vitalik｜01:45:33 现在的一个最重要的关于这个世界和现在这个技术的发展的 fact，还是有很多不确定的。我们还是不知道第一 AI 发展会多快的。第二一年后五年后二十五年后人会比 AI 在那些领域更能做事情。就是人会做什么。第三是那些安全的问题是不是能解决的。第四有可能 OpenAI 和 Anthropic 还是会做一个强大的 AI 公司。还是这个情况会变就是比如会不会 Google 变成第一个或者会不会一些中国的 AI 的公司会 catch up 所以是有非常多的不确定的这个其实也包括那些话题就是一个 AI 是不是更像一个工具还是更像一个人还是更像另外一个东西就是对我同意就是现在已经完全不是一个简单的工具但是就是我们一年后和三年后跟 AI 会有什么样的 interaction?如果 AI 不会完全自动的，那我们在什么情况下会干扰它？ 我们怎么会 direct？它在做什么？就是这些都有很多不确定的。对，所以我一直就是比如不愿意说我的 P(doom)是 99%,也不愿意说是 1%或者 0%,真的有很多很多能发生的事情。比如四年前我们并没有知道 AI 的发展的下一个阶段会不会通过这个 chain of thought 发生。那现在有一个问题就是因为现在他们开始思考有这个 neuralese 的概念。因为现在 AI 在思考的时候，它还是用英文在思考。你或者机器人还是可以研究它是怎么思考的。其实我发现就是我喜欢用开源的模型的一个原因之一就是你可以看到他们的思想的每一步。 那其实你在看他们的思想的时候，就是你也可以了解更多，你也可以学习很多。但是 neuralese 的这个概念就是如果 AI 不会用英文思考，如果他们开始用一些只有自己了解的，就是很多很多百万个数字开始思考，那我们了解他们的思想的能力会降低很多。但是会降低多少，这个也不知道。我们一年后会有很多的 parallel agent，还是会有一个 agent。还有一点就是 AI safety 的那些 strategies 会有什么样的变化。其实在这个领域里我有一个思想，就是我觉得 AI safety 更可能不像一个工程的问题，就是不像一个 engineering problem,其实更像一个 like political design 的一个问题。 就是如果你在思考比如现在的一些政府的那个架构是怎么做的，就是有不同的部分，有 checks and balances 的部分，就是每一个部分的一个目标就是限制其他的部分就能犯很大的错误的可能性。还有很多的不同的人互相说话的一些地方，但是也有一些情况就是有一些人是不应该互相说话或者互相有太多的关系。所以同时有一个 communication，有 separation。有一些部分是更慢的，有一些部分是更快的。这些他们都是想用一些非常聪明的，但是不完美的组成部分，就是人，作为一个更稳定的一个机器。 有可能就是一个安全的 AI 并不会有一个数学家会喜欢的一个证据，就是这个 AI 的目标设置的是对的。就是有可能我们会有三个不同的方法就去设置我们的目标是什么。那有可能他们三个之间会有一个机制，那他们就是互相限制自己的风险，他们也会知道什么时候。应该再一次问那个用户他到底想要什么。所以就是有可能 AI 的安全会往这个方向走，但是如果他这么做的话，他也会变成一个非常 empirical 的一个话题，就是你会需要跟现在存在的 AI 在合作，就是你会需要了解他们，你会需要跟他们做事情，你会需要知道他们在什么情况下会成功，在什么情况下会犯错误的。 AI 和安全又会变成一个不那么理论化的，但是跟我们已经在用 AI 做事情有关系的一个领域。但是这个也就是有可能。有可能最重要的就是最近十年，AI 的发展的速度和方向有非常多的惊喜。我觉得不能现在过于决定一定会这样子的，一定不会那样子的。
Yiwen｜01:50:32 保持开心才是最重要的。
Yiwen｜01:50:34 好，谢谢大家。感谢大家。谢谢。拜拜。
Yiwen｜01:50:52 聊到这里我们再回头看有效利他主义这个名字就会发现，当初那个朴素的问题其实一直都在，那就是怎么用有限的钱和时间帮助更多的人。我在大学期间也接触到了学校里的 EA 社群，和 Afra 说的一样，我接触到的 EA 的参与者都是心怀理想坚持实践的一批人。不过对于如何将原则落实到现实当中，这些具体的实践手段甚至什么才是我们必须要关心的议题，我们都产生过很多争执。在 AI 的社群内部，关于你究竟该做什么，也像嘉宾说的，一直没有一个完整的共识。或许当 EA 所关心的对象从眼前需要帮助的人延伸到尚未出生的世代甚至未来可能出现的智能，判断什么是有效就必定变得越来越困难。 那对我们来说啊，理解 EA﹐也是为了更具体的理解今天的 AI。谁在决定它的发展方向﹐谁在定义哪些风险值得关注。当有人以全人类的未来为名做出选择的时候﹐其他人有没有参与、质疑和纠正这些选择的机会呢？这些问题会随着 AI 的发展越来越直接地影响我们的生活。希望这期和 Vitalik 还有 Afra 的对话，能给大家一些继续思考和讨论的线索。那么以上就是我们这期播客的全部内容了。国内的听众可以通过小宇宙苹果播客、网易云音乐、喜马拉雅 QQ 音乐、蜻蜓 FM、荔枝 FM 来关注我们。海外的听众可以通过苹果播客和 Spotify，或者在 YouTube 上搜索硅谷 101 播客来关注我们。 我们部分的文字稿还会收录在硅谷 101 的微信公众号上。谢谢大家的收听，那我们下次再见啦。
References
- 1官方单集页：E257｜对话 Vitalik：AI 安全背后的哲学思想，有效利他主义如何影响硅谷？
sv101.fireside.fm
- 2
- 3
- 4
- 5Zvi Mowshowitz 记录并评论了这条 9 月 14 日的发文
thezvi.substack.com
- 6美国司法部：Samuel Bankman-Fried 被判 25 年
justice.gov
- 7Coefficient Giving 官网首页
coefficientgiving.org
- 8Coefficient Giving：Open Philanthropy Is Now Coefficient Giving（2025-11-18）
coefficientgiving.org
- 9
- 10
- 11
- 12
- 13Vitalik Buterin：My techno-optimism（2023-11-27）
vitalik.eth.limo
This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.