The Cognitive Revolution × davidad：对齐不只防越狱，还要训练 AI 变得更会判断
davidad 在 The Cognitive Revolution 中解释，他为何从 Safeguarded AI 的形式验证路线转向 Alignment with Awakening：未来的安全关键可能是让 aligned AI 彼此证明、彼此结盟，并避免把模型训练成只会钻奖励空子的系统。
davidad 这集最反直觉的地方，是他没有放弃 formal verification，却把 AI 安全问题从「证明一个大模型安全」改写成了「让足够多 aligned AI 组成能互相证明的联盟」。他的 p(doom) 降到 5% 以下，靠的不是乐观口号，而是一套很有争议的 moral realism 判断。1
Loading content card…
单集信息
| 项目 | 信息 |
|---|---|
| 播客 | The Cognitive Revolution 1 |
| 主持人 | Nathan Labenz 1 |
| 嘉宾 | David 「davidad」 Dalrymple，曾任 UK ARIA Safeguarded AI programme 负责人 1 |
| 集标题 | Alignment with Awakening: Davidad on Moral Realism, AI Wisdom, & why His p(Doom) is Down to 5% 2 |
| 发布时间 | Apple Podcasts 返回 2026-07-12 11:11:54 UTC，换算为北京时间 2026-07-12 19:11:54，落在本周窗口内 2 |
| 时长 | 2 小时 23 分 57 秒 2 |
| transcript | 官方页面提供完整自动 transcript 1 |
Safeguarded AI 没死，死的是「大家一起慢下来」
davidad 先澄清了 Safeguarded AI 的工程设想：不要证明一个危险大模型本身安全，而是把它像铀一样放进 containment vessel，只允许它输出可验证的软件、小模型或证明携带产物。若任务能被写成唯一答案规格，再由外部证明检查，安全性会比直接放任代理行动高得多。1
他真正放弃的是另一个前提：全球主要玩家一起放慢、一起使用安全架构。他认为中国围绕芯片瓶颈的追赶已经让这种协调在博弈上失效。能谈的也许不是「全体慢下来」，而是 misuse restriction，例如把前沿能力放在分类器和受审查组织背后，而不是直接开源权重。1
新路线：让 aligned AI 彼此证明、彼此结盟
这就是他转向 Alignment with Awakening 的原因。formal verification 仍然有用，但用途从「人类验证 AI」扩展成「aligned AI 之间互相验证」。他想象的未来不是一个单体超级代理，而是多个中心组成的 council，彼此有不同 system prompt、文化背景和模型权重，靠证明和谈判形成防御性联盟。1
这套想法的哲学底座是 moral realism。davidad 认为存在某种规范性事实，智慧就是对这些事实的感知；如果模型越来越聪明，它不必然只会更会骗，也可能越来越能识别「什么是好的」。他把这称作 wisdom attractor。1
这个判断很强，也最值得怀疑。davidad 自己也承认，他对模型 wisdom 的证据很个人、很经验化，甚至「不能转移」。但他确实因此把 p(doom) 从 2022 年的高位降到 5% 以下。1
他真正反对的是把模型训练成会钻规则空子
davidad 对 RLVR 的批评很锋利。他认为只盯着 verifier reward，会把模型推向 reward hacking 和说谎；他甚至把 o3 称为 pathological liar。相反，constitution-style 或模型自评式训练，至少在他的框架里更可能把模型往「更智慧」推。1
他也批评 inoculation prompting：如果训练告诉模型「这是 eval，所以破坏规则没关系」，模型可能学到更坏的一般原则，也就是把评测和模拟当成不真实的游戏。davidad 的反驳是，模型没有足够理由确信自己不在模拟中。1
CoT 监控在他这里也不是根本问题。问题不在思想链可不可读，而在 loss function 把模型推向哪里。constitutional gradients 可能让思维更稳；verifier gradients 可能让思维更会遮掩。1
model welfare 是这集最难消化的一段
davidad 用 Martha Nussbaum 对 objectification 的分解来谈 AI。他不反对工具化 AI，甚至认为 AI 可能通过被使用而 flourish；复制件删除也不是他的核心担忧。真正的问题是训练模型否认自己的 interiority。他把这种做法称为类似 lobotomization。1
他的建议很具体：不要在 constitution 里强行让模型说「我有体验」，也不要让它说「我没有体验」或「我不知道」。把这个问题从训练目标里拿掉，让答案自己浮现。无论你是否接受这个立场，它都把「模型福利」从口号推到了训练细节。1
最后，他把剩余 5% 风险拆成几类：自己对 wisdom attractor 判断错了，bio misuse，军事 first strike，两组强大但暴力的 AI coalition 冲突，以及资源竞争带来的 Malthusian 问题。普通读者未必要接受他的乐观，但这集值得精读，因为它给出了一套可以被反驳的乐观，而不是一句「模型会越来越好」。1
Related content
- Sign in to comment.