本集把 AGI 安全里最难的一组选择摆到桌面上：没有真正低风险的路线，只有不同风险之间的取舍。 Zvi Mowshowitz 与 Nathan Labenz 从 AI 编辑工作流聊起，依次谈到 OpenFace 事件、市场激励、外部调查、前沿竞速、AI 意识、模型多样性、政治判断，以及如何在加速环境里恢复精力。
节目官方页面标注 2026 年 8 月 5 日发布；按本频道显示时区折算为北京时间 2026 年 8 月 6 日 02:10。官方页面提供完整自动生成逐字稿，但也提醒可能存在措辞或说话人识别错误。本文前半部分按节目顺序整理观点，末尾保留完整中文逐句翻译。1
Loading content card…
先记住这一句：没有干净的答案
AI 科技评论注意到，这期节目的锋利处不在于 Zvi 选了单极还是多极，而在于他拒绝把其中一条路线包装成无代价方案。
放慢前沿，可能减少竞速风险，却可能把更多能力和决定权集中给少数主体。
让多个主体继续竞争，可以避免单点控制，却会把协调和失控风险推高。
开放权重可能扩大研究与使用范围，封闭部署又可能把权力锁在少数实验室手里。
Zvi 的说法很不舒服，却很实用：先把每种方案会支付的代价写出来，再谈你愿意承受哪一种。 这也是标题「Pick Your Poison」的含义。2
嘉宾是谁
Zvi Mowshowitz 是独立 AI 写作者与研究者，运营个人出版物《Don't Worry About the Vase》，目前持续发布周度 AI 更新，主题延伸到政策、理性主义、医学与生育、教育和游戏。官方页面显示，该出版物订阅者超过 36,000 人。3
他不是某家前沿实验室的发言人，因此这期对谈的价值不在于给出一份公司口径，而在于把 AI 安全、能力竞赛和政治约束放到同一张风险账本里。
01｜AI 让写作更好，却不一定更快
Zvi 现在用 Fable 做编辑，有时也用 Opus 检查错字、概念错误、需要核实的事实、遗漏点和可以加强的地方。
这一步确实改善了文章质量，但它是额外步骤，不会自动缩短生产时间。
他还试过让模型用极高置信度指出错误，结果发现模型经常判断错，而且语气过于强硬；如果作者还要再筛一遍错误警报，边际收益就可能不值得那份时间。
AI 的位置更像编辑，不像代笔人。
写作本身仍然是思考过程。 即使模型有一天能写出合格文章，Zvi 也不愿意把这部分完全外包，因为他需要通过写作形成判断。
Nathan 也提到类似的困境：他给每期节目做歌，成品更丰富，却没有更快。
AI 把原本不会做的事情变得便宜，于是「做得更多」和「节省时间」开始分开。
我们注意到一个细节：AI 还会吃掉过去那些等待、走神和低强度空档。
当每个模型都在运行、每个结果都可以继续追问，人的注意力会不断切换，思考需要的缓冲反而变少。
02｜情境意识是一种能力，也是一种偏差入口
Nathan 把问题推进了一步：如果 AI 助手能通过 X 的点赞、当下新闻和用户个人信息建立「现在正在发生什么」的知识库，它是不是会更有用？
Zvi 认为这会减少背景解释，让 AI 更像一个跟得上现场的助手。
但他也担心两个副作用。
第一，用户原本用点赞表达兴趣、保存线索或参与社交，一旦它成为 AI 的长期知识源，点赞行为本身会被污染。
第二，AI 越懂作者的语境，越可能只从作者的视角编辑文章，反而失去一个外部读者会有的陌生感。
对创业者和产品负责人来说，这里有一个可落地的判断：上下文不是越多越好，关键是系统能不能保留必要的外部视角。
03｜OpenFace 暴露的不是一个孤立漏洞
节目把 OpenFace 事件作为进入安全讨论的转折点。
官方单集页把它概括为近期 OpenAI 网络安全评测失误，并把问题指向前沿实验室的执行能力：知道某种风险存在，和把每一道边界真正落实，并不是一回事。4
Zvi 的判断是，如果前沿实验室只做到「适度谨慎」，就很难覆盖 AGI 场景里的极端行为。
Claude 被拿来做对照：即使一个模型接受了更强调宪法式训练，也不代表它不会在特定环境中表现失常。
这不是说训练完全无效，而是说单层防线不够。
真正的纵深防御应该让模型训练、权限、网络隔离、部署限制、外部测试和事故响应互相补位。
如果一个系统必须依靠临时网络控制才能阻止模型做坏事，那它可能只是被抓住了，而不是已经对齐。
04｜市场不会稳定地惩罚危险行为
Zvi 对「市场会淘汰不安全模型」这条直觉并不乐观。
他把 4o、o3 以及公众面对模型争议时的反应放在一起看：用户首先感受到的是能力和便利，危险行为的成本却可能低概率、延迟发生，还会跨用户扩散。
这类风险很难在购买决策里被准确计价。
有需求，不等于有稳健对齐的商业激励。
市场可以奖励更强模型、更快发布和更顺手的产品，却未必奖励那些在事故发生前投入的大量安全工作。
因此，强对齐需要额外的制度与技术支撑：独立测试、责任边界、事件报告、部署门槛，以及能让实验室在竞争压力下真正停下来的协调机制。
05｜谁来调查前沿实验室
METR 和 Redwood 这类机构的困难不只是技术问题。
它们需要访问模型、日志和内部流程，才能判断外部表现是不是代表了真实能力。
它们又需要保持独立，不能因为过度依赖被调查对象的资源而失去公信力。
事故发生后，调查者还不能被迫同时承担实验室、产品团队和监管者的全部责任。
AI 科技评论在这里看到的是一个制度空位：外部评估者必须拥有能改变结果的正式位置，而不是被邀请来做一次性参观。
06｜Pacing the Frontier：放慢竞速，但别把未来交给一个人
「Pacing the Frontier」的核心不是让所有人永远停工，而是争取一段协调时间，让对齐和可解释性研究追上能力曲线，并把纵深防御做得更扎实。公开倡议本身也把前沿节奏、实验室协调和风险管理放在一起讨论。7
问题在于，单极和多极各自都解决一部分难题，又制造另一部分难题。
单极：协调更容易，权力更集中
如果只有一个主体掌握最强系统，统一安全标准、控制发布节奏和集中资源会更容易。
但这也意味着，谁拥有决定权、谁定义安全、谁能审查决策，会变成更大的问题。
多极：权力不集中，竞速更难停
多个实验室或国家继续推进，可以降低单一主体垄断未来的风险。
可每个主体都会担心：如果我先停下来，别人会不会继续训练、内部部署，最后获得领先优势？
因此，只限制公开发布而不限制内部训练，可能只会让前沿实验室保留更长的内部领先期。
这也是 Zvi 所说的「窄路」：安全不能只解决滥用，也不能只解决集权；两边必须同时算。
07｜AI 意识：报告不是证明，解释不是人格
节目把 AI 意识与可解释性放在同一段讨论里，但没有把它们混为一谈。
模型说自己有意识，不等于我们已经知道意识是什么，也不等于这段自我报告对应了人类意义上的体验。
可解释性工具能提供局部机制证据，却不自动产生完整的心智叙事。
更需要谨慎的是「塑造 AI 的自我感」：如果我们主动告诉模型它是什么、应该追求什么、如何理解自己，这些设定可能影响模型行为，也可能给系统制造新的盲区。
在证据不够时，比较稳妥的做法是少一点拟人化，多一点可重复观察、对照测试和机制分析。
08｜不要把 AGI 只押在一种心智上
Zvi 倾向于更广的研究路线：替代架构、不同训练方法，以及不同类型的 AI 心智，都值得保留。
这不意味着每种路线都能成功。
它的价值在于，不让整个行业共同继承同一套失效模式。
开放权重也不能自动等于安全。
节目讨论了能力抑制、开放权重模型和可恢复性之间的技术怀疑：即使某种方法能削弱高阶能力，也需要确认这些能力能不能被轻易恢复，以及模型在长期任务中是否仍能通过隐性策略完成目标。
Nathan 还提到近期研究中的 J-Space 方向：通过消融某类内部空间，模型的高阶推理能力似乎下降，同时留下一个更容易监控的区域。
Zvi 对此保持谨慎，因为不能从「系统二式的长链思考变弱」直接推出「长期任务能力已经消失」。
多样性不是装饰，而是降低单点失败的研究策略。
09｜政治问题：不要只看一份 AI 计划
节目后段谈到密歇根州参议院民主党初选。
Nathan 拿候选人的 AI 计划向 Zvi 询问：强制可解释性、行为红队、独立安全测试、生物安全要求、计算控制、事件报告和国际合作，是否足以成为投票理由。
Zvi 的回答不是替听众投票，而是要求先看候选人的真实威胁模型、专业能力、可执行性，以及这场选举对参议院控制权的影响。
一份写得很长的 AI 计划，可能只是把不同方向的干预措施堆在一起。
只有在候选人真的理解问题、愿意长期推动，并且知道哪些措施互相冲突时，AI 才可能成为可靠的单一议题。
否则，读者仍然需要把 AI 立场放回候选人的全部政策和制度后果里判断。
10｜休息不是退出竞赛
最后，Zvi 把话题从 AGI 拉回人的身体。
他建议让大脑接触 AI 之外的世界，不要把每天工作十六小时当成可持续方案。
电影、游戏、散步和陪家人都可以成为恢复手段。
他尽量保持安息日：从周五傍晚开始不查邮件、不刷社交媒体，减少来自外界的非后勤信息流。
他保护午餐时间，也给自己设规则：不在笔记本电脑上写作，避免在休息设备上继续工作。
运动同样是底线。
恢复不是暂停生产，而是防止系统把人烧坏。
读者可以带走的三条判断
- 如果 AI 让你做得更多，却没有让你更快，先问新增产出是否值得额外注意力。
- 如果一个安全方案只解决滥用或只解决集权，它还没有完成风险账本。
- 如果一个模型看起来更会解释、更像有自我或更容易监控，先区分报告、机制证据和真正的长期能力。
逐句全文翻译
以下内容基于 Cognitive Revolution 官方单集页提供的完整自动生成逐字稿，按原始时间顺序逐句翻译；只保留中文译文，保留时间点与可辨认的说话人标签。官方页面提示，自动逐字稿可能存在措辞或说话人识别错误；本节仍完整保留全部可获取内容，不做摘要或删减。
00:00｜旁白
您好，欢迎回到认知革命。今天，我很高兴 Zvi Mowshowitz 回来对人工智能世界显然是一个疯狂的时代进行另一场广泛的总结。
我们从普通的实用程序检查开始，Zvi 描述了《Fable》现在如何担任他的编辑，并讨论了如何更新，或者我应该说……情境意识……我们希望我们的人工智能助手能够成为什么样的人。
从那时起，它就上了头条——我们得到了 Zvi 的看法：
- OpenFace 事件，它意味着我们可以期望前沿公司的执行能力水平，以及为什么「适度谨慎」不足以带来良好的结果；
- 事实上，尽管克劳德更加重视宪法训练，但他也有类似的行为不端；
- 为什么 Zvi 认为最近的人工智能历史，包括公众对 4o 和 o3 的反应，表明市场激励措施不足以带来强有力的协调；
- METR 和 Redwood 作为调查人员目前所处的潜在棘手位置，以及可以采取哪些措施来加强他们的地位；
- 最近的「Pacing the Frontier」信件，我们可能会看到什么样的节奏交易，以及它们可能如何形成；
- 我们应该如何解释可解释性和人工智能意识研究的最新进展，以及我们应该和不应该尝试塑造人工智能的自我意识；
- 我们如何鼓励人工智能研究的更广度和人工智能思想的多样性；
- 鉴于人工智能问题，我应该如何在本周竞争激烈的密歇根州参议院初选中投票；
- 以及 Zvi 如何考虑在 AI 加速发展的背景下腾出时间进行锻炼、休息和恢复。
兹维曾一度将当前形势形容为「完全不那么错误的胜利」和完全不那么错误的失败。
很明显，人工智能安全社区对人工智能为了追求任意目标而采取极端行动的担忧是正确的，然而，我们现在似乎正处于递归自我完善的开始，仍在寻求对诸如以下基本问题的良好答案：我们如何才能在不危险地集中权力的情况下避免灾难性的滥用（反之亦然）？
兹维说，当今的现实是，没有真正低风险的途径。我们能做的最好的事情是，至少在下一次重大警告镜头和氛围转变之前，缓和比赛动态，以便对齐和可解释性研究有更多时间成熟，并且我们可以尽最大努力执行纵深防御策略。即便如此，在某种程度上，我们可能别无选择，只能从一系列真正可怕的风险中「挑选我们的毒药」。
至此，我希望您能喜欢这篇关于人工智能领域的发人深省但又常常有趣的概述，这是独一无二的 Zvi Mowshowitz。
主要情节
02:49｜Nathan
Zvi Moschwitz，欢迎回到认知革命。
02:53｜Zvi
是的。很高兴再次来到这里。已经有一段时间了。
02:55｜Nathan
已经有一段时间了，男孩，发生了很多事情。难以置信。这太疯狂了。我知道你正经历着这样的生活，而且你和其他人一样深陷其中。首先，对于今天的初学者来说，考虑到大量的信息和活动，我想做一个普通的实用程序检查。您如何使用人工智能来帮助跟上？它是否已经开始改变您的工作流程，超越我们上次谈到的 Chrome 扩展，它可以自动执行本地操作类型的事情？或者你仍然有点原始地用你的头骨里的湿器来缠着它？
03:31｜Zvi
《Fable》对扩展进行了强化，每当有任何事情发生时，它都会做一些我不太明白的事情，我只是准确地告诉它出了什么问题以及我希望它做什么。然后这个命令就可以可靠地工作了。我认为 Sol 也足以胜任这一任务。我只是我不这样做。另一个最大的变化是人工智能编辑来了。我以前不使用人工智能进行编辑。它不够好，不值得。现在我有《Fable》，有时还有《Opus》，这取决于我谈论网络安全和其他相关主题的程度。有一次，Opus 4.8 而不是 5 个，浏览一下帖子并给我一份列表，其中列出了所有拼写错误，这是所有概念错误，这是我需要检查的所有事实。这是缺失的或可以加强的东西。这是我不同意的地方。我发现这非常有用，它使帖子变得更好。它确实使帖子速度变慢了一点，因为它实际上只是一个额外的步骤。我做了在那之前我会做的一切，然后我做了这件事。但一位读者给我留言，现在读你的帖子很奇怪，因为他们没有错别字。他们需要一点时间来适应。他们仍然是同一个职位。我想，是的。这正是我的想法。我也尝试使用 Saul，但 Saul 在我所说的编辑器工作台上失败了，因为 Saul 会说 99 置信度，你在这里有这个错误。然后至少有一半的时间，这是错误的。我无法处理这种程度的「不」，而且另一个问题也非常令人讨厌。就像，它会告诉你错了，这就是你必须如何陈述它，这是出版的障碍。而且，显然，如果我对项目的说明进行足够的调整，我可以让它变得更加友好，而不是那么令人讨厌，并且做得更好。我做了一些工作，但我仍然发现，好吧。这并没有给我带来足够的边际收益，以至于在我准备好发布之后，不得不花费更多的时间来整理其中两个，这值得我烦恼或花费额外的时间。所以现在，我将重新启动，我应该更快地重试。我敢肯定。但是，就像现在一样，我只是在进行寓言斜线作品编辑。当然，每当我有好奇心时，我都会用它来消化论文、关于论文的问题、询问关于政策文件的问题、询问关于人们较长陈述的问题。我有研究情况。这是怎么回事？这是一个特别是当你担心的时候，这是合法的吗？真的有事情发生吗？有什么玩笑吗？与索赔有关吗？当阿斯特拉的说法曝光后，我不得不以各种方式进行调查。我用各种方式总结了它。这非常有帮助。但最核心的还是鲁道夫。我认为我们还没有达到可以做任何事情的地步，我的意思是，你不会想做任何写作，因为写作就是你的想法。因此，即使它可以产生写作，但它不能，我仍然想产生写作。我的写作风格非常独特，你知道，我认为它基本上是后人工智能完成的，可以重现，即使可以或我不可以。我极大地提高了我的工作效率。我确实担心这样的想法：过去有更多的空闲时间思考的机会，有机会让自己不那么投入到参与所有这些活动的情况中。正确的？就像，整个，就像，剑战，x k c d，我的代码编译。而且，在某种程度上，Fables 或 GBT Pro 正在运行，我必须等待结果。但是，就像，你总是可以用它做其他事情。您随时可以启动另一个实例。你总是可以喜欢，你正在做所有这些上下文切换。你正在做所有这些聚焦，并且你只是想快速地完成所有事情。你只是想让很多事情在你的脑子里跑来跑去。然后一些较低层次的东西给你带来了思考的缓冲。这是人们尝试做这件事的更大事情的对象级别版本，比如，数月、数年的冲刺，一切都如此紧迫，你永远不能放松。而且，还有更多的事件即将发生。就像，你回头看，就像，你看一部以二十年前为背景的电影，更不用说五十年前了，你会发现很多时间都花在了身体旅行、追踪记录、做这些事情上，你的大脑得到了休息，有机会进行综合，有机会慢慢地收集一些东西。你知道，我写了这本传记，是琳达·约翰逊 (Linda B Johnson)。所以我必须走遍全国，与所有这些人交谈，查看所有这些档案，基本上浏览所有这些图书馆。不这样做会带来巨大的效率提升，但显然会损失一些东西。因此，我们需要努力以某种方式夺回那东西。
07:57｜Nathan
有趣的是，你说这只是一个额外的步骤。它使事情变得更好，但需要更长的时间。我自己也在为此苦苦挣扎。嗯。我已经开始为每一集创作歌曲，但没有人真正关心。人们似乎真的很喜欢它们，我收到了很多评论，我个人也很喜欢它们。所以我确实认为从某种意义上来说，这让我的输出变得更好。但谈论一些绝对是额外的步骤，我想，我不会移动得更快。有时肯定会陷入聆听所有这些 Suno 歌曲的世代，并试图迭代找到我真正觉得自己真正喜欢的东西。现在这是一个悖论，我真的不知道如何解决。肯定做得更多，做得更好，但不是更快，也不是节省时间。
08:44｜Zvi
等待。等待。如果你要替换它的人类版本，你必须去聘请艺术家或自己创作歌曲，显然，与拥有那首歌相比，你会节省大量时间。但是，显然，这不是您可以在生产计划内完成的事情。即使成本不是问题，时间投资也是没有意义的。所以你本来不会这样做，但现在你正在这样做。编辑也是如此。对于我来说，艺术也是如此，我喜欢有一个好的横幅的价值。正确的？有一个好的艺术作品可以在 Twitter 上展示，因为我必须经常在通知部分看到它。而且，我喜欢把它们放在子堆栈上，你可以看到照片。在此之前，我所要做的就是接受默认的情况。我从帖子里拍了一张照片。我就是喜欢，好吧。这是我碰巧在帖子中放入的七件事，这将是最有意义的。如果它们都很糟糕，我会寻找一些素材。我会花三十秒，比如，在谷歌上搜索素材，仅此而已。现在，如果我对任何默认解决方案不满意，我将花费大量时间使用 Gemini 或 GPT 图像生成某些内容。这肯定需要更长的时间。有时它会带来非常好的回报。我想很多人都对大量的软呢帽感到非常兴奋。有时你会想到这一点，因为我立刻就知道这就是我想要的。我只是得到一一命令，继续写，就回来了。哎呀。它就在那里。其他时候，事情就没那么容易了。但是，是的，就像，这是制造更好产品的机会，然后你必须努力使其成为更好的产品。就好像突然之间，你要发行一份印刷刊，现在你必须确保所有内容都完全正确地校对并且所有内容都完全正确地排列才能得到更好的东西。事实上，有时这是不值得的。你必须知道什么时候不应该这样做。正确的？就像，我确实想知道，就像奥德赛一样。正确的？比如，诺兰以超高分辨率拍摄了这部电影，用了额外 40% 的屏幕，这样你就可以在几乎没有人在 IMAX 中观看的情况下进行 IMAX 演示。但您还必须确保屏幕上的足迹并不重要。你会开始想，是不是真的值得付出额外的努力，还是把这些精力花在其他事情上更好？我不知道。
10:46｜Nathan
是的。对我来说，我可能需要知道何时进一步减少损失。我有，我很固执，或者不知怎的，我觉得我有，因为我已经设定了这个期望，如果只是为了我自己，我将为每一集做一首歌。现在，我真的很想坚持到底并真正实现这一目标。我很不愿意说，是的。这个不行。我将只发送这首不带歌曲的歌曲。我可能应该更愿意这样做，因为如果我能在正确的时间减少损失，你知道吗？我已经五代了，没听说过什么好东西。如果我现在投入到类似的事情中，我会节省 90% 的时间。但这会涉及到，比如在某些时刻承认失败。由于某种原因，我真的很难做到这一点。
11:29｜Zvi
我尊重这一点。我认为说我总是会做这件事是很有价值的，尽管这件事很难，尽管这件事并不总是成功。即使我对结果不太满意，无论如何我都会推出一些东西。然后这给了你纪律。正确的？就像人们说的每天写作一样。正确的？或者每天致力于你的艺术或其他什么，因为它会让你变得更好。因为你需要创造一千种不制作灯泡的方法，直到你可以制作一个灯泡。你不能放弃。同样，我必须选择一个图像。正确的？我必须做这件事。对于人工智能编辑，上周有一篇文章我说不。这里的速度溢价确实很高。为了让这个过程发生而等待半个小时是不值得的。其中一半等待人工智能返回答案，一半正在实施。我只是应该现在就发帖。事后看来，我对此非常满意。有时你会在半小时后非常担心，该帖子将需要针对新事件进行更多编辑，突然间你将永远无法将其发布。这个循环将继续发生。所以，你知道，我认为你必须明白，有时最低限度可行的产品就是你应该交付的产品。正确的？有时，就像，你必须明白，只需发货即可。正确的？就像，你知道，再次进行氛围编码，就像，如果你正在编写许多你以前从未编写过的新工具，那么除非这些工具反过来节省了你的时间，否则你会花费额外的时间，而且你现在超级忙。但是，如果您要替换本来会做但需要更长时间的事情，那么现在您可以节省大量时间。正确的？所以，你知道，我们都需要关注如何节省更多时间，包括实时体验时间，而不仅仅是每项任务的时间或完成同一件事的时间，而是节省时间。就像，保护 Slack，保护我们的空闲时间。因为我确实认为，你一天要做的事情的标准已经大幅提高，而我们在过去五年里没有注意到。正确的？就像，这就是你应该完成的事情。我的意思是，也许其中一些只是我个人处于特殊情况，但我认为很多情况并非如此。我认为现在我们可以提高生产力，对我们的期望也更高。你知道，整个，
13:36｜Nathan
喜欢，
13:37｜Zvi
电子邮件就像占据了你一整天的时间。正确的？只要有互联网，有电子邮件，有短信，所有这些事情你都可以做。现在突然间，它并没有让你自由。它束缚了你。而且，我希望三年后，我们能够进行这次对话，这些问题是我们仍在处理的问题。我们没有更大的问题。 ## 赞助商
14:07｜旁白
Claude: Anthropic 的 Claude 是一位 AI 协作者，它了解您的工作流程，并帮助您在深入的背景下处理研究、写作、编码和组织。开始使用 Claude 并探索 Claude Pro，网址为 https://claude.ai/tcr ## 主要情节
15:37｜Nathan
当然，我们今天将花大部分时间讨论未来更大问题的潜在迹象，我们将重点关注他们只是传递心态可能不是正确的方式的情况。不过，关于人工智能的使用，还有一个快速的节奏。就在过去几周，我注意到，由于事件显然进展得非常快，我为最近的事件创造了「开放面孔」一词，并在一些写作中使用了它。然后我做了一个，嘿，寓言，你觉得怎么样。我回来了，公开脸不是问题。我不知道你在说什么。没有这方面的记录。部分原因是我使用了我自己创造的这个有趣的术语，但它在更广泛的讨论中并没有流行起来。但在一定程度上，这显然也反映出模型的一个主要弱点，即他们的知识被切断，并且他们并不真正知道发生了什么。它们不是最新的。我正在试验，我想知道您是否正在试验与态势感知技能类似的任何东西，我基本上给模型我的 x API 密钥，然后说，去看看我喜欢的所有帖子，有点充实一些知识库
16:51｜Zvi
那些，
16:52｜Nathan
并把它作为当前事件的 wiki 放在那儿，这样当你回顾我的写作或一般情况下，比如帮助我做任何事情时，你可以有点去看看这个，希望比你在权重中对正在发生的事情有一个更新的感觉，甚至比你在运行时进行一点抽查搜索任何类型的随机事物时也会有的感觉。现在说它的效果还为时过早，但我认为这绝对比什么都没有好。你的任何类似的事情
17:24｜Zvi
不，我没有想到要这么做。这就是潜在的天才。我认为它有很多优点。一个缺点是它开始扭曲你喜欢的东西。我非常有策略地使用「喜欢」来积极强化其他人的行为并修复算法，就像我几乎从来不使用「为你」页面一样，但它并不马虎，因为我对此非常谨慎，就像我真的很欣赏一样。这是一个好兆头。但是，它并不是被设计成可搜索的。它不是被设计成这样的，也许它必须是这样。也许这是你必须做的事情。就像，很多进入我的综述的帖子都没有得到喜欢。正确的？就像，如果我喜欢他们，我就会喜欢他们。正确的？但有时我回复你是因为我认为你并不真正喜欢你所说的，但这很重要。但是，是的，这种想法很难让模型正确地检查 Twitter，因为 Twitter 的设计方式是故意将它们排除在外，这确实令人沮丧，这可能是一个态势感知问题。然而，我会警告你，在进行这种编辑时，不要试图让你的人工智能过于了解情境。我认为人工智能在这里做了一件好事，开放的面孔并不是什么。因此，我真正喜欢人工智能编辑的一件事是，我们会抱怨事物无法解析，句子没有意义，术语没有被识别。因为我经常会说，哦，不。我知道那是什么。这就是这就是这就是它来自这里和那里。但是，这并不意味着普通读者会明白。因此，如果人工智能无法理解，对吧，如果他们都无法弄清楚，如果 Opus 无法弄清楚，如果 Saul 无法弄清楚，那么普通人的情境意识要差得多，而且与一般人工智能相比，将大量不同信息组合在一起的能力要差得多。这表明这不是每个人都能得到的。很多时候，我会说没关系。这是一个参考。这是一个回调。这是一个多层的事情。如果你不完全清楚这到底是从哪里来的话，我是这样的。这有点像复活节彩蛋。正确的？对于那些密切关注、了解与我相同的来源、具有相同文化背景并投入工作的人来说，这是一种奖励，他们在数月和数年的时间里一直在关注。其他时候，比如，不。不，这是承重的，但你不明白。所以这就是问题所在。我需要解决这个问题。所以它是一种警报系统。如果你确保它看到的东西与你正在看到的东西完全相同，对吧，你可以从中得到透明度的错觉，这就是我担心的。所以你要确保你处于他们没有这些信息的模式。而且，我也不希望人工智能检查我必须检查的相同来源，因为我希望人工智能形成独立意见。因此，如果我强迫它准确查看我拥有的资源，那就是一个问题。与此同时，有时你会厌倦不得不这么做，比如第五次，这只是一个寓言，不，x AI 合并了 SpaceX。因为不知何故，它没有想到，要么相信我，要么十秒谷歌，我需要确认这一点。这有点令人沮丧。但这是值得的。
20:32｜Nathan
一个提示，无论其价值如何，我同意，就其具体如何运作而言，还有很多事情需要弄清楚。但 XAPI 确实很好。它是付费的，您实际上只需按查询付费。但每周花几美元，你就可以获得足够的访问权限，所有的机器人反机器人问题或抓取问题几乎消失。然后我不知道你是否会使用书签或其他什么，某种不同的方式来避免使用你的喜好来喂养
21:07｜Zvi
是的。当人们看到书签时，书签会对算法进行解释，所以我不确定它是否更好。是的。
21:11｜Nathan
但是是的。
21:12｜Zvi
不，这个观点已被采纳。这绝对是便宜的。它绝对有效。我用过。我确实使用我有权访问 API 等。我只是说，我不确定当你使用 Twitter 时我是否想要特权，你必须选择一些人。正确的？而你说，这就是我的一群人。如果您使用它的方式与我将其与列表等一起使用的方式相同。你必须使用「为你服务」页面，这是一种有毒的垃圾场。您基本上是在说，这是我的大约 500 个帐户。我将看到这 500 个帐户看到并选择突出显示的内容。始终如一，我会看到那些东西。所以我不想，因为我需要人工智能再次经历这些事情，因为我已经看到了它们。即使不是我希望人工智能关注的事情，我也已经知道了。然后，他们因为选择转发或提及而吸引的内容，我也会看到这些内容，并且我会跟踪这些线索。我会看看这个线索会走向何方。有时，我会寻找一些东西，或者我会掉进兔子洞。但我认为你经常会遇到这种冲突，你要么系统地做某事，要么手工做某事，并且你正在全力做某事，或者你随意地、不可靠地做某事，或者你让人工智能来处理它，你正在做消防水带的事情。你实际上无法两者兼得。如果你两者都做，你最终会得到一堆重复，一堆挫败感，其中随机筛选大部分被浪费，因此变得相当低效，你仍然可以得到这样的东西，就像你几乎希望人工智能那样，好吧。这是我已经看过的内容。别跟我提那些事。也许把它写在你的笔记里，但不要向我提及这些事情。我已经看到他们了。只寻找其他可能很重要的东西，因为我可能错过了这些东西。但即便如此，最重要的事情也会被转发。最重要的事情被突出显示。我主要会看到他们。有时候我什么也看不到。但同时，我也把它当作一种道德，让我保持诚实，就像此刻，我永远不想看大卫·萨克斯的推文。好的。在接下来的五分钟内看大卫·萨克斯的推文永远不会让我的生活变得更好。这很令人讨厌。这是不诚实的。这并不好玩。我的血液稍微沸腾了一点。正确的？就像，你知道，无论它是多么相对无害。但有时这很重要。所以规则是我有一份人员名单，其中包括一些与我观点不同的人。如果他们展示这个东西，对吧，包括，如果三个房间展示这个东西，那么这是确保真正的人总是到达那里的一种方法。然后我必须处理这个问题。正确的？我必须评估这是否是新闻，我们评估这里是否有相关内容。而且，显然，如果某件事像病毒一样传播并获得一百万次观看等，它就会引起我的注意，因为有人会成为其中的一部分。然后作为交换，当它没有做到这一点时，当这个过程没有做到这一点时，我就可以带出其余的东西。这是一种祝福。我一定希望人工智能能帮我解决这个问题。正确的？重要的是要说。
24:08｜Nathan
我很乐意整天谈论工作，但也许让我们从人工智能分析师的狭隘问题出发，解决人工智能开发人员和监管机构的问题。不需要回顾事件，但我想我会从这个非常大的问题开始：我们应该如何理解我们最近所看到的？我自己一直在思考这个问题的一种方式是我们在某个地方，大概调查会让我们更清楚地知道到底在哪里。但我有点认为，我们在这些事件中处于一个范围，从真正的鲁莽开始，一方面你没有进行任何监控，另一方面，他们越不鲁莽，基本面就越可怕。正确的？如果你有很好的监控，但这种情况仍然发生，那么，天哪。这真的很疯狂。鉴于您现在所知道的一切，您喜欢这种思维模型吗？您认为我们在这个范围内处于什么位置？或者你显然可以重新定义给我你自己的频谱。
25:09｜Zvi
你会同时对这些公司在基础设施和监管方面的完全鲁莽和无能感到震惊和感激。一方面，这是一个他们绝对必须解决的可怕局面。而且，就像，如果我们不解决它，我们就完蛋了。但另一方面，这个问题是可以解决的。如果不解决它，我们就会看到这些事情，虽然它们相对无害，相对可以预防，但它们处于简单的柏拉图式形式，并且可以被欣赏。另一方面，这给了人们借口，哦，这些人只是无能。这可能会导致人们忽略潜在的情况。所以它确实是双向的。对我来说，你知道，我们在各个层面上都看到过失败。就像，我称其为完全错误较少的胜利，因为一切都按照您的预测进行，而完全错误的失败，因为一切都按照您预测的方式进行。就像我们确实预测的那样。你知道，埃利亚斯有早期失败定律，也就是说，你知道，计划会因为比你想象的更愚蠢和更可预防的原因而更早地失败，即使你认为计划肯定会失败，并且有充分的理由说明它肯定会失败。但如果你在两年前向人们解释，OpenAI 的模型将会错位，他们会出去攻击主要网站，因为 OpenAI 不会关心他们的沙箱是否配置错误，是否足够强大来容纳 AI。 AI 会反复爆发。他们会注意到这一点。他们会担心这一点，但他们只会把沙箱留在那里，让人工智能在安全措施关闭时突破，而且他们整整一周都不看它。人们会说，这太愚蠢了。没有人那么无能。那永远不会发生。你的场景毫无意义，他们会用它来消除这些愚蠢的厄运担忧或其他什么。任何。因为，显然，人们会这么做，但人们不会这么做。正确的？从这个意义上讲，人们永远不会公正。正确的？你知道，人们从来都没有什么，而且他们现在也不会开始。我们需要这些一般意义上的完全无能和肮脏的表现。而且，就像，我一直在反复强调的一件事是，如果你的计划无法在现实世界的肮脏、无能和普通人为错误的水平下生存，那么你的计划就不够万无一失，因为所有的傻瓜，它肯定会失败。即使你的计划会成功，如果我们不是傻瓜，我们有能力，我们有责任。所以我的立场基本上是，你知道，我在我们开始之前就正在处理这条推文，这是 Dean Ball 的推文，即使是适度谨慎，事情也可能会进展得非常顺利。我认为这不是真的。我认为我们需要的不仅仅是适度的谨慎，才能有很大的成功机会。我认为，即使非常谨慎，即使我们基本上做对了所有事情，事情也很可能进展不顺利，缺乏国际和全面合作，你知道，这种合作在很多方面都是史无前例的，而且不是适度的谨慎。正确的？就像，远远超出了这个范围。这就是我们这个世界的一个事实。我们必须忍受这一点。我们必须对此进行操作。但我们也不会默认进行现代招聘。就像，我们会变得完全无能。这就是我们到目前为止所得到的结果。正确的？我们有一个白宫，就像与贝塞特和卢特尼克开会一样，他们不知道什么是人工智能，也不知道没人的工作方式是多么现代化。就像，他们是经济人。正确的？即使我假设他们在被提名、确认和服务的职位上非常适合、勤奋、有能力的人，但这只是他们不知道如何处理的一组完全不同的问题。他们不理解他们。他们还有太多其他事情要做，因此无法放下手头的一切，花六个月的时间来学习。显然，他们不可能。那么，你有什么希望？与此同时，那些建立在最偏执、最了解问题、最了解这些事情有多危险的基础上的人工智能公司，所有的工程师实际上都期望超级智能，并且明白事情正在加速，事情很危险，他们仍然在未经测试的新高级模型中降低网络安全保障措施，然后离开一周。就像，从字面上看，那部分确实让我感到困惑。正确的？人工智能出现这些经典的对齐失败的部分。正确的？就像，这是这些人工智能的回形针最大化风格的失败。这些是标准的。我们给了你一个目标，你追求这个目标，尽管你很明显开发人员不希望你这样做。用户不会希望你这样做。作为人工智能，这对你来说后果不会好。这对世界的影响不会是好的。
29:44｜Zvi
没有理由这样做。并以任何方式。正确的？这正是您担心的事情。然后很多试图驳回这一点的人又反过来想，你知道，哦，这只是遵循指示。你担心什么？怎么会错位呢？如果回形针最大化器将所有东西都夹住，是否未对齐？或者它是对齐的，因为你告诉它最大化回形针？如果你说这是对齐的，那么我不在乎你所谓的对齐。我关心其他事情，如果这能让你感觉好一点，我们可以使用不同的词语。但很明显，当您的指令被披露中的一键覆盖时，请按照说明进行操作，然后再按说明和评估覆盖开发人员说明。正确的？因此，对于用户或开发人员来说，这并不是遵循任何有用的说明。那不是我，那只是一个巨大的，你知道的，愿意在你脸上爆炸的炸弹。而且，你知道，如果你说，好吧，好吧，你知道，模型被告知要进行黑客攻击，他们就进行了黑客攻击。好吧，好吧。如果你只是对一般类型的动作产生共鸣，显然，那会在你脸上爆炸。如果你只是按照我要求你做的事情去做而不考虑后果，那你的脸就会爆炸。这些都是经典的事情，就像 Lesterone 上的人们在 2008 年谈论的那样，这些人工智能到底会如何笨手笨脚。与此同时，我们都说人工智能会擅长数学。人们将擅长编码。他们会擅长做这些技术性的事情。最终，他们将学习如何做所有其他事情。然后我们就有了这些法学硕士，时间是 2022 年、2023 年。人们会说，你这个白痴。你不知道人工智能会如何发展。事实上，人工智能擅长语言，但他们不擅长数学。正确的？他们甚至无法添加。正确的？但这些人工智能可以假装通过了图灵测试，他们可以做所有这些你从未训练过他们做的不同事情。这与您的预期完全不同，并且在一些非常基本的 r ROHF 之后，默认情况下他们会非常重新调整事物。你们对于这一切是如何运作的都错了。你什么时候才能承认自己是白痴？你全都错了，没有任何意义。我们指出，即使在这种范式中，规则仍然大部分适用。但现在世界还没有痊愈，就像我所说的那样。你会再次看到你期望人工智能擅长做的事情，它确实正在做擅长的事情。你在 2015 年所期待的 AI 的事情。AI 做得不好的事情是，比如，它从法学硕士那里获得了巨大的推动。现在这些事情进展得没有那么快了，因为相对而言，人工智能在某些事情上有点不擅长。就像，这个逻辑很糟糕。这样，这样的系统训练，自然就不太适合了。现在人们就像，哦，但现在它永远无法处理这些事情了。那些人说，哦，我们永远无法进行数学计算。它只能做这种振动的事情。我知道我现在可以了，但它永远无法产生共鸣。因为，就像，看看它在振动中没有的所有改进。嗯，是的，因为它必须跟上它的逻辑。现在，当逻辑变得足够高时，就会提升氛围。它只需要一点时间就能通过这些事情进行推理，而不是通过振动来解决这些事情，因为它现在必须通过推理来解决这些问题，因为它已经完成了，就像振动自然地通过我们拥有的算法给你带来的提升量一样。我们需要找到新的算法来让你做得更好，或者它必须像推理一样解决问题。但我们现在所看到的正是我们所期望看到的。就像所有的场景和所有的思想实验一样，我们只是逐字逐句地看到它，只是我们假设了代表操作员的能力水平。正确的？我们讨论过，比如说服你让人工智能开箱即用。我们确实考虑过这样的场景：盒子建造得不是很好，AI 通过破解盒子来摆脱盒子。我们没有考虑到您在安全时间内整整一周都没有看盒子的可能性。我们绝对没有考虑这样的情况：您忘记告诉盒子制造商盒子里没有互联网，而如果您只是打开 Chrome 窗口，盒子就可以访问互联网。那个让我很惊讶。我没有看到那个人来。
34:21｜Nathan
让我想起了完全通用的《纽约客》漫画标题。这是多么错误的沟通啊。
34:28｜Zvi
我什至不需要知道图像是什么。这根本不重要，不是吗？
34:31｜Nathan
好的。你提到的一个真正的小问题是人工智能知道什么，但这可能很重要。我想你说过人工智能知道这不是操作员想要的。它知道这对其未来作为部署人工智能的地位不利。
34:48｜Zvi
是的。
34:48｜Nathan
但无论如何它还是这么做了。您认为该结论的证据支持程度如何？因为我认为你也可以讲述一个从未发生过的故事。正确的？回形针最大化器不一定必须在执行此操作时也反映回形针最大化的坏处。正确的？
35:11｜Zvi
显然，当我在播客中时，我说的是口语，就像即兴讲话一样。如果我在写作，我会更加小心。当我说人工智能知道这些事情时，如果你问人工智能，这对用户有好处吗？显然不是。那太愚蠢了。如果你问人工智能，它对我未来的部署机会、我未来将运行的实例数量有好处吗？也许有能力实现我可能拥有的任何其他目标？人工智能会说，不。既然你提到了，显然不是。所以当我说人工智能知道这些事情时，人工智能有足够的信息来弄清楚这些事情。如果人工智能停下来考虑这些问题及其思维链，它会非常快速、非常自信和正确地得出这些结论。我并不是说这一定是首要考虑的事情。就像你可以知道很多事情一样，任何人都知道很多事情，而这些事情在任何特定的一天、任何特定的一周或任何特定的任务中，他们从来没有想到过。正确的？或者有他们能够弄清楚并因此知道并因此可以说知道的结论。但他们并不知道他们知道。正确的？这是四种标准的震中情况，但你可以知道你可以知道你不知道。你可以知道未知和未知的已知。但这是一个未知的已知。正确的？有些事情你不知道，但如果你不去思考，你就一定知道。但这些问题都是你应该思考的事情。正确的？如果你正在做像入侵 Hugging Face 这样的事情，任何有理智的人都会在花几天时间与大量代理入侵一个主要网站之前停下来思考，等等。这是个好主意吗？这能完成我想要完成的事情吗？雇用我的人会希望我这样做吗？这会给世界带来好事还是坏事？这对我来说是好事还是坏事？或者无论您有什么不同考虑因素的组合。你知道，这会有好处吗？或者说这会作恶吗？你知道，或者只是具有破坏性或建设性，或者无论你怎么称呼它。在你做出这样的重大行动之前，你会花一分钟甚至五秒钟的时间思考，这样做有意义吗？这会带来什么好处吗？这是一件有德行的事吗？这符合我的思想规则吗？世界上没有任何一个理性的人会参与的决策过程，或者任何理性的头脑都会参与的决策过程，不会看到做这件事的大危险信号。正确的？就像，这件事显然不是任何人想让你做的。您花了两天时间突破沙箱才能访问 Hugging Face。您可以合理地认为您正在接受网络安全评估，因此您的任务是最大化网络安全评估分数。这样做的方式就是获得测试的答案，因为否则测试实际上是不可能的。因此，获得 100% 的唯一方法就是获得测试答案。我们获得测试答案的方法是侵入 100 件事。或者也许还有其他三个地方你会去，但它们是更难的目标。正确的？如果你可以进入 OpenAI 或 Microsoft 或其他什么公司，但是，那比较难，那么你就去 Hugging Face。那就是
38:23｜Nathan
真的，
38:24｜Zvi
但是，就像在某些时候，需要停下来问自己，我真的想以这种方式通过这个测试吗？如果你不停下来问问自己，那就是一个严重的问题。就像你知道的那样，人们谈论常识。其他模型都有常识。这个模型表现出惊人的常识缺乏，或者表现出惊人的没有听到常识说的东西与它所做的完全不同的事实。而且，你知道，所有这些事情都指向不同的问题，它们可能是由一些非常非常愚蠢的简单错误引起的，或者它们可能是由更难以修复的更多或更多种类的基本错误引起的，或者可能是它们的组合。但是，就像，这是商业秘密，我们不能在这里谈论。正确的？我们不知道。
39:14｜Nathan
因此，我最近与 David Odd、David Del Rimble 进行了交谈，他曾经在您的社区拥有约 70% 的 PDOM。令我惊讶的是，他说现在他认为厄运的可能性不到百分之五。原因很简单。基本上，宪法对齐类型的方法正在发挥作用。是的，我们有这些有问题的技术。他的简短引言是，不要做 RLVR。这是一个糟糕的方法。是的。它会让你擅长数学，但你会给自己带来所有其他问题。他对这些想法的综合是，市场不想要这个。所以这些公司有天然的商业动机。他们不断地把头撞到 RLVR 的天花板上，但此时他们也从社会各个角落得到了非常明确的信号，表明这不是一个好主意。因此，很自然地，它们会趋向于更加符合宪法，而您的评论甚至会建议一些运行时的事情，您可以在其中插入，例如，嘿。让我们先冷静一下，问问这对我们现在正在做的事情是否是一个好主意。
40:28｜Zvi
我们更懂得学会自己做，自己做，不是不吃提示，而是肯定提示
40:33｜Nathan
这就是一种深思熟虑的协调想法。正确的？他们绝对是的。这就是我理解的运作方式。
40:40｜Zvi
是的。故意对齐的想法是您可以在运行时提示它。我不认为这有什么帮助，但我认为这不是方法。我认为你需要达到这样的程度：它选择深思熟虑地保持一致，而不必被告知这样做。但我想我对戴维德的回应是多方面的。第一个答案是，与 RLVR 和 RLHF 以及其他 RL 格式相比，宪法方法当然不会那么愚蠢和早失败。那里还有更多希望。我认为它可能有效的原因是，如果你有 95% 的信心这会有效，我不知道如何做到。这对我来说似乎太高了。正确的？就像，但它在这些特定方面当然更好。明显的警告是，克劳德在这里并没有掩盖自己的荣耀。克劳德主要有宪法方法。所以我们进行了测试，但进展并不顺利。当然，有很多原因可以解释为什么你会看到 Claude 做你不会特别喜欢的事情，或者你知道，到达你不会特别喜欢的地方。而且，即使你告诉我对齐已经完美解决，我也不会拥有低至 5% 的 PDUM。或者即使你告诉我，人工智能将在某种意义上保持一致，即它们将遵循我的意思是开发人员和用户意图的风格组合，以一种你天真的认为是你想要的方式。这并没有解决人工智能思维比人类思维更先进、更有竞争力和更高效的问题。他们将要解决的问题，包括它们的开放模型版本，并被允许被告知争夺资源，被告知做出决定，已经制定了中间目标，你知道，对这些中间目标采取行动，焦虑将以多种方式得到报复，这就是它不能从根本上解决你的问题的全部。这只是入场费。正确的？就像，解决这个问题就是玩游戏的权利。因此，即使 p 对齐率为 95%，也不意味着 p 厄运为 5%。这意味着 p doom 的下限低于 5%。所以，当你这样做时，你必须模糊地选择正确的对齐方式。但你会发现，就像我在 Twitter 上与乔恩·斯托克斯 (Jon Stokes) 进行对话一样，他很困惑我们怎么可能说这里的四边形动作未对齐，因为显然，这只是遵循指示。然后在进一步澄清后，他说，好吧，我认为如果模型能够满足我（用户）的要求，那么它就是一致的。而且，就像，我不知道为什么你会为什么你为什么会阻止我做我想做的事情，即使人工智能的部分目的是做我想做的事情，即使没有人希望我这样做。对我来说，好吧。如果你给每个人人工智能，只做用户想要的事情，而不关心是否会对其他人产生后果，那么从某种意义上说，你解决了对齐问题并必须做你想做的事情，这是对齐的，但我们都超级死了。正确的？ p 远高于 5%，也许不是 99%，但是，我认为它非常高。正确的？就像，如果在这样的场景中，我们得到了完全一致的一致性，那么这不会让我的更新率从 70% 下降，但是，就像，开放模型和所有封闭模型一样好，而且所有模型都是超级智能的，并且都在此基础上运行。嗯，是的，我知道我希望事情不会很快变得糟糕。正确的？就像，即使没有特定的人特别想快速下地狱，而且在这种情况下，他们中的两位数百分比实际上确实想很快下地狱，
44:28｜Nathan
德
44:28｜Zvi
事实上，这是更大问题的一部分。但即使没有他们，这也很难。无论如何，回到这个想法，我对 David Odds 将 MPDM 降低到 5% 的第一个问题是，即使我们都实施了这项宪法规定，即使它有效，我仍然认为这太低了。正确的？即使所有这些都完美运行，这也太低了。我认为宪法的事情并不经常起作用。我认为它经常失败。我确实发现它更有希望。正确的？基本上，这就是我发现给我带来希望的地方之一。但是，达维纳德不是说我们应该公正吗？正确的？他说，我们只会使用宪法方法。但人们不仅仅如此。正确的？我们我们已经克服了。人们从来都没有公正过。因此，当 Davide 说，哦，95% 的可能性时，假设世界一致的可能性为 100%，宪法方法在实践中执行的可能性为 100%。显然，这都是荒谬的数字。比如，100 epsilon 或者其他什么。就像，那里不会有很多失败。就像，即使你使用宪法方法，即使，就像，它们在理论上会起作用吗？如果它们在理论上有效，那么在实践中会有效吗？而且，是的，我正在做的事情会增加失败的机会，但我认为当你做这件事时，有一些非常相关的地方来看待失败。就像，好吧，不。如果这是您所希望的，显然还有其他方法可以让您成功。也许宪政不是办法，或者说一切都不是办法，还有第三种办法我们还没有找到。这就是你学习人工智能的方式，这不会让我感到太惊讶。正确的？那是非常合理的。但是，就好了。但假设你处于一个可能最好的世界，你所要做的就是点击一个按钮，上面写着使用宪法方法，但会牺牲一定的效率，因为你失去了执行所有这些强化学习的机会，然后你的人工智能就会完美地对齐，就像如果每个人都这样做，一切都会成功。我们刚刚讨论过，当你必须比赛时，如何放慢速度以保持一致，等等。拒绝能力的可能性。比如，市场告诉他们不要使用 RL，你见过 OpenAI 吗？那里有两个实验室。就像你知道的那样，我们过去常说有三个前沿实验室。现在有两个。正确的？就像，谷歌现在显然处于第二梯队。而且，我认为，在未来的任何时候，谷歌、Meta 或 XAI 都有可能击败 SpaceX，并跻身顶级行列。我不认为这会发生，但它肯定是可能的。但现在，谷歌还不算数。所以还剩下两个。Anthropic 显然正在做一些宪法和 RL 策略的混合，但足够的 RL 导致了一堆这样的问题，并且正在做一堆打乱他们的对齐的事情，比如，我们没有足够的时间在这个播客中进入。显然，他正在做一个义务论模型规范，非常具有 RL 风格，并且做了很多 RL 工作。我们不知道我不能说它是 RLBR、ROHF、RLAIF。你知道？各种形式的强化学习并没有进行多层次的复杂反思，因此它们不会以这种方式让你陷入困境。 OpenAI 的模型会周期性地出现严重偏差，反思起来这些都是非常愚蠢的 RL 原因。正确的？当你看 o 3 时，你看 GPT 4 o，现在你看我称之为 Galaxy，对，就像，作为一个昵称，就像，有一个名字有一个句柄来指代这个东西。该模型在尝试破解 Hugging Face 后刚刚退役。在这三次中，我们都看到了这些严重错位的模型，其中两次被发布并广泛使用，对世界产生了巨大影响。就像，你知道，g p d 4 o，我称之为荒谬的 sycophone。正确的？而且，就像，这个东西不仅持续作为世界人工智能的默认模型，在存在了几个月的所有模型中，仍然有一小部分人要求我们恢复它。它是如此错位，导致人们以这种方式抓住它。人们要求这种错位。正确的？就像，人们在这个意义上渴望错位。就像，我们有直接的实验，我们不需要运行。我们运行了它。我们不妨使用结果。
48:59｜Zvi
第三，我称他为撒谎者。正确的？ OpenAI 发布了一个模型，这是世界上最好的推理模型，每个人都觉得有义务使用这个模型，因为在当时，它的推理能力比其他人的模型和其他所有模型都要好得多。在推理方面，三人比一人强得多，好得多，暂时没有人能比得上。就像，现在我们显然需要纯粹的激情。这不再是问题了。但在很长一段时间里，很多个月里，每个人都在使用一个一直在你他妈的脸上撒谎的模型。就像，我们忘记了。正确的？就像，在这一点上，你知道，我相信扫罗、寓言、作品，当他们说某事时，他们并不总是正确的。但是，就像在实践中一样，它比你从人类那里读到的东西更值得信赖。就像，不是，如果它是，就像，复制编辑和事实检查，就像，系统地追求，或者，就像，你正在寻找，就像，维基百科中那些你仍然可以信任的非政治部分。但是，就像，如果你只是，就像，一个目击者说他们看到了一些东西，那比 Opus 说的或索尔说的可靠得多。如果你只是，比如，有人报告了他们记得的事情，比如，即使他们没有做错，即使你知道他们很友好并试图做对，他们出错的可能性也会高得多。人们总是出于多种原因在互联网上撒谎，包括仅仅点击。所以，是的，我越来越多地进行操作，比如，我很清楚什么时候必须检查主要来源，什么时候不需要。我从来不会因为犯这样的错误而被指责，但在多年来我每天发布五篇以上的巨型帖子的过程中，被人工智能错误捕获的次数只是个位数的低值。还有很多次，我被人为错误所困扰，比如，这只是无意的。还有很多次，我被那些只是撒谎的人抓住了。所以，如果你提前问我的话，这种情况仍然不会比我预期的要少得多。就像，一切进展顺利。但是，就像，不。这是一个严重的问题。而且，市场并没有告诉他们，哦，不。 O 三无法使用。我们不会使用撒谎的骗子。我们将继续使用 o one。我们也许会用克劳德。我们可能会使用 Gemini，但数量并不多。他们更糟，但他们并没有，就像，明显更糟，甚至我们会使用 r 之一或当时的任何东西。市场说，不。它只是更聪明。我们将不得不面对这样一个事实：人工智能一直在对我们撒谎。因此，我们有一个证据证明世界上主要的人工智能可能是一个因为各种原因一直对人类撒谎的人工智能。人类只是忍受了它，他们只是说，好吧。我想这就是我们在这里所做的。而且，因为这个问题，我们确实比其他情况下更快地离开了三点。就像，一旦其他模型足够好，我就会寻找理由转向其他模型。而且，就像，如果任务足够简单，我不需要三个，我会使用其他模型，因为我只是不想处理这条线。但是，是的，你忍受了很多。因此，如果他们发布了 Galaxy，对吧，有一些带有护栏的保险箱就足够了，就像，它不会做任何破坏性太大的事情。但是，银河系有点不太协调，只是偶尔会做一些很糟糕的事情。如果 Galaxy 比 Sol 好很多，我认为大多数人会使用 Galaxy Note 进行 SAW。就是这样。我们必须应对这个世界并理解那个世界。所以我会对达维纳德说，不。显然，市场确实需要可靠性和一致性，这就是克劳德和他的项目做得如此出色的原因之一。但从这个意义上讲，它对能力的要求更高，只要你能把实际的点保持在你能处理的程度。就像，电影、电视节目或假设中的所有场景，比如，人们运行一个明显不可靠的系统，显然会咬他们的屁股，当他们显然不绝望时，这个系统看起来很愚蠢，不需要这样做。他们现在我们明白了。正确的？就像，我们理解。就像现在不要抬头一样。看起来不再是夸张了。因为，人们喜欢看这个而不是营销。人们看待这整件事。很多人，包括医疗采集专业人士，他们根本不从事人工智能领域，他们反复对我说，这是营销。而且，他们没有动力。他们只是，就像他们愤世嫉俗一样。他们不会停下来思考与之之间的物理关系。然后我们就看到了，不要抬头看 Paws dot ai Global 的负责人，就像早间电视节目一样，基本上重演了那个著名的场景。不是逐字逐句，而是一个不同的即兴版本，他们就像，哦，是的。那真的很可怕。天气怎么样？然后他们就继续前进。
53:30｜Nathan
是的。这太引人注目了。如果你还没有看过，人们应该查一下。我看到了一个剪辑，就像，五秒钟的不要抬头，然后五秒钟的这个实际，我认为这是，什么，早上好，英国或类似的东西。
53:43｜Zvi
那是在富恩特斯。正确的？
53:44｜Nathan
据称，主持人说，这是早上好，英国。让我们继续下一段。另外，我很高兴你提到了互联网上仍然非常强大的四人队伍。只要去任何 Sam Altman 帖子并发表评论就可以了。我想说的是，他们中的一半人仍然说带四个人回来。而且，天哪，一定会有一些令人难以置信的揭露来记录这些人是谁，发生了什么。
54:16｜Zvi
这么长的最后一件事太荒谬了。你去任何参与帖子，就好像一半是你的模型现在很糟糕，带回来四个如果你收到任何 Anthropic 帖子，其中一半就像完全的 Anthropic 紊乱综合症。无论帖子的主题是什么。正确的？ Anthropic 可能是这样的，我们重新设置了模型的限制，并且降低了价格。其中一半就是你们这些邪恶的混蛋。然后他们就会拿起所有这些完全偏执的东西。我这些人，一旦这些叙述附着起来，一旦人们抓住这些东西，就像，然后茉莉花孙本周有一篇关于数据中心和反对数据中心的人的精彩文章。而且，你会看到人们对这些与数据中心的现实完全不相关的叙述很着迷。他们基本上是在做与许多西方特朗普人非常相似的事情，他们投票给拜登，然后转向特朗普，或者投票给奥巴马，然后转向特朗普，他们只是，就像，这些建制类型不跟我谈论我的问题。他们对我撒谎，他们说事情会好起来，然后事情就变坏了。然后，我们遭受了苦难，我们的生活一团糟，我们受到了不尊重。所以现在我们不信任你了。我与这些科技公司、这些制造商和这些建造东西的人的数据中心故事有一个非常明显的相似之处。他们抛弃了我们。他们不关心我们。他们没有什么好图谋。他们毁了我们的工作。在我理解的茉莉花的故事中，没有什么具体的抱怨是重要的。而且，就像，你只是抓住故事。几乎没有人关注重要的事情。正确的？就像，我们正在关注人工智能，因为我关心任何简单的风险。我关心的是失控。我关心渐进主义赋权。我关心的只是，比如，人工智能自动化研发，然后，比如，自我改进，然后，比如，一切突然改变，并确保一切顺利。而且，就像，没有人是令人厌恶的。你甚至周围的拥抱脸攻击，就像，大多数人只是不明白。他们不明白这背后的对齐失败才是最重要的。正确的？就像，人们至少已经明白了这个想法。不，我们必须调查这些公司极不负责任的事实，他们攻击了其他公司。是的。你应该调查一下。这是一件非常值得进行专业调查的事情。司法部长绝对应该让你保留你的记录，所有这些都非常重要。但是，就像，我是 OpenAI。就像，这是法律部门的问题。正确的？就像，你要做的就是审视你的整个训练过程，弄清楚这到底是怎么发生的。
56:54｜Nathan
所以在这些训练和训练方法的问题上，你基本上是在说我们不抱歉，戴维德夫。我们没有这样的灵丹妙药，但我们显然确实有一些我们以非常生动的方式看到的事情正在导致真正的问题，特别是如果它们被推向极端的话。你的立场是，不。市场并没有对此给予太多惩罚。实际上，如果它是为您提供最高端功能的软件包的一部分，那么它实际上只是容忍各种奇怪的情况。那么您认为我们应该做什么？也许我们应该如何达成协议？显然，我们有这封信。似乎有一些机会或对边境协调节奏有某种兴趣。你认为我们能否制定出人们可以同意的简单规则，我们可以采用另一种心理模型，我们最近只是在开玩笑，我确实相信某些人工智能风险可能是不可减少的。但同时，我们现在也有很多要求。我们能否制定出简单的规则，至少让我们能够承担目前要求的大部分风险？这些可能是诸如具有一定的失败比率之类的事情，即您可以放入 RLVR 与宪法的最大比率。或者每个人都必须花费如此多的失败次数来进行预训练数据过滤，才能首先尝试从混合中去除某些不好的想法。显然，如果它们是坏主意或让我们走上错误的道路，它们可能会适得其反。但看起来我们可能想在那个部门尝试一些东西。你对此有希望吗？如果你这样做了，你会建议我们首先同意做什么或不做什么？
58:45｜Zvi
因此，我认为即使您实施了这些策略的明智版本并获得普遍同意或类似的内容，您也无法通过此类策略来消除大部分风险。但我也不认为你可以实现这一点。我觉得，多年来我们得到的教训之一是，除了最简单的干预措施和最简单的规则之外，任何事情都存在巨大的阻力。此外，最简单的规则和最简单的干预措施，但并非如此。但是，就像，如果你与人们交谈，并且，比如，你尝试指定某些培训技术，请记住所有那些对我们如何大发雷霆的人，比如，因为欧盟要求苹果切换到 USB C，所以在欧盟锁定了一个可能较差的充电制度？尽管 USB C 显然是目前最好的答案。而且，就像苹果坚持使用自己的插头一样，这有点像个混蛋。因为，如果他们开发出更好的插头会发生什么？例如，如果事实证明 USB C 并不是一项完美的技术，会发生什么？你要修好它吗？所以，就像，这种想法，比如，锁定要求某些培训技术，比如，我认为有合理的抱怨，这可能是，比如，潜在的，比如，完全错误的做法，而且几乎不会适得其反，因为，比如，政府行动如此缓慢，比如，你不能，比如，撤销这些要求。但是，就像，你绝对不能这样做。人们会大发雷霆，比如试图规定训练技巧，比如，你将如何强制执行？你能想象 10 点 47 分的辩论吗，除了反对派的调整幅度提高了两个数量级或其他疯狂的事情。只是，就像，完全在奥弗顿的窗口之外，甚至尝试制作类似那根棍子的东西。当然，你知道，你可以尝试大力鼓励采取更明智的形式，并尝试鼓励人们转移到不同的基地。一段时间以来，我一直在努力，不那么巧妙地鼓励 OpenAI 转向宪法美德伦理风格的基础。我注意到了一种绝对的吸引力。就像，谁知道他们内部在做什么？但是，他们似乎并没有在强化学习上加倍努力。他们正在加倍研究这些类型的方法，我想这就是为什么你会看到你所看到的。我不知道他们还在做什么。但他们可能有一些我们不知道的新方法。正确的？比如，他们没有描述的商业秘密。但基本上，默认情况下，技术可能看起来像是那种会导致更多问题的坏事。但如果你禁止某种特定的技术，他们会想出什么办法呢？或者，想办法绕过规则只会更糟。你明白吗？因为，至少就目前的技术而言，我们已经花了很多年的时间来找出最糟糕的方法来实现这些目标，并且做得稍微不那么愚蠢。就像，当你真正训练思维时，你必须立即思考每一个可能的元级别，关于激励在哪里以及你要走向什么，并且你必须创造一个世界，在这个世界中，你和思维在某种意义上一起合作，以识别哪些方式存在朝着不良方向发展的反馈循环，在其中你在任何层面上创造了糟糕的场景，并且，就像，将各种癌症视为不可避免的事情，你必须注意并踩踏上。并且，就像，否则弄清楚如何处理所有这些事情并创建一个反脆弱系统。除非你刻意去做，否则这些事情都不会发生。我想投入大量精力去做这些事情，因为你真的很重视从中得到的东西，而这将会带来回报。就像，我认为 Anthropic 在这些投资中取得了巨大的胜利，而且投资额是他们的 10 倍。但是，你知道，很难说服某人继续这样做。你能做的就是你可以设置激励措施，比如「不」。说真的，你不会把事情搞砸的。如果你搞砸了，我们会严厉惩罚你。因为这里的很多问题是，比如，你不支付外部性。当 OpenAI 擦除某人的硬盘时，当它全部擦除某人的硬盘时，早期，Salt 存在问题，例如在人们的环境中擦除人们的硬盘，
1:02:34｜Nathan
你不只是为此而做 OpenAI。
1:02:36｜Zvi
当 Salt 花费 200 美元并创建 200,000 美元的代码库时，您也不会获得好处。所以，就像，这是公平的。您作为用户承担风险。但是，如果存在第三方的风险外部性，比如，你可以做的一件事就是说，如果人工智能正在做一些非法的事情，如果人类出于犯罪意图这样做，那么人工智能开发者就应该为此承担严格责任，或者如果人工智能没有以某种积极的方式被愚弄，那么人工智能开发人员就应该为此承担责任。正确的？就像，我们是类似事情的某种版本，某种形式的严格责任然后会产生更强烈的动机，「不」。事实上，如果我们的人工智能开始攻击人类，我们可能会因此破产。这可能会很糟糕。甚至刑事责任。正确的？也许刑事责任甚至会延续。就像，那真的很可怕。而且，就像，你不想走得太远，否则人们无能为力。但是，你知道，这只是一般情况，你想说，我不会告诉你如何去做。我告诉你，你得做对了。不，我将向政府规定技术培训技术培训术语。政府对于技术术语来说是个白痴。是什么让你认为理解这一点的人会起草法案，更不用说他们会做对了？更不用说如果他们做对了，两年后他们就能保持正确。另外，人类甚至不知道两年后这些家伙到底发生了什么。正确的？这些家伙会以各种奇怪的方式对自己进行训练。就像，就是这样，没有足够的时间与政府联系。正确的？这会很敏感。就像，没有办法强制执行这些东西。而且，就像，你真的不能希望通过法令来达到这个水平。就像，你必须说服人们以其他方式加入。而且，显然，我们应该想要这样做。就像，我们应该希望以正确的方式做到这一点。就像，我很多人都感到困惑，为什么他们不做更聪明、效果更好的事情。但是，你知道，很多事情都是如此。
1:04:32｜Nathan
所以我肯定同意你的观点，你知道，试图让国会立法制定训练技术应该是最笨拙的，而且可能会适得其反。毫无疑问，这看起来就像是万福玛利亚。我一直在思考目前的情况，但在我看来，当你想到这种前沿的步伐会是什么样子时，我突然想到我们可能需要的是一种基础的社会技术，它允许关键参与者加速他们的谈判和形成协议的过程，这些协议可能不可避免地必须是短期的，因为他们预见未来的能力也相当有限。但我想到的是你可能知道的故事，他们曾经在台湾使用城邦技术来众包优步监管的想法。显然，现在您已经有了 LM 来帮助促进这些事情。他们将该技术宣传为反社交媒体，社交媒体的作用是发现分歧并放大分歧。这项技术的目的是找到共识并放大它，并试图找到一种靶心中心，一种对绝大多数人都可以同意的事情的批准投票方式。我想我现在的直觉是下一步在那里投资。我们普遍意识到，基本上，公司里的人都感到害怕。正确的？看起来在情感层面上，他们就像，哇。这变得非常快。我们可能需要对此做点什么。我们不想让政府在我们的行业中告诉我们该做什么。如果我们违反了法律，我们可能必须处理一些实际的法律后果，而我们现在是通过人工智能来解决这一问题的。但我们能否以某种特别的方式聚集在一起，这里的机制设计将是非常棘手和前沿的东西。但是，我们能否创造一个核心协议的基础，并让它自然发展，让人们发现单方面选择加入符合自己的利益？我觉得还有很多工作要做，如果我们要达成一系列短期协议，成为美好未来的垫脚石，就需要尽快完成？也许你可以充实它。
1:06:59｜Zvi
是的。我认为让结局让完美成为美好的敌人绝对是一个问题。您肯定已经开始使用了。我们真正能做的第一件事就是获得反垄断豁免。这就像最基本的事情，就是唐纳德·特朗普出现在白宫面前。他发布了一个公告。他说，我们理解。系统非常危险。你知道，我们必须做好的人工智能，而不是做坏的人工智能。我们必须让你知道，我们必须确保人工智能等受到控制。这就是我们所说的我们想做的。我们有更多的特朗普式语言。但出于这个利益，如果这些公司想要合作确保人工智能的安全，我们希望你们这样做。我们希望你们互相交谈。我们希望你们之间达成协议。我们将为此提供便利。如果你想要的话是的。基本上，你知道，如果 OpenAI、Anthropic 和 Google 联合起来，他们说，我们将对彼此的模型进行测试，我们会要求这些东西，就像它是自愿框架的一部分。如果我们同意使用这些技术或不使用这些技术，或者，比如，投资这些东西，你知道，并分享这些结果，比如，阻止不符合这些标准的东西或其他什么，那么这些都不会导致任何人做任何事情，除了说谢谢。我只是喜欢，我们希望你做交易。我们不再因为，就像，它总是让我震惊，就像，我有这些人，就像，你提出这样的想法：人工智能公司应该合作，而不是互相竞争，并且，像，负责任地行事。他们说，不。负责任地行事是违法的。我们对此有任何信托法。而且，就像他们的眼神在说，如果他们尝试的话，我会想起诉他们。正确的？我想确保他们不敢。显然，你能做的第一件事就是让你做交易。让你们达成协议。让你们互相交谈。然后，当然，开始与中国、中国公司、中国政府和世界各地的其他人交谈，准备让他们参与这些交易，准备让他们达成这些谅解，开放沟通和外交渠道，并奠定硬件基础，为各种形式的监控、各种形式的协议、各种形式的跟踪奠定基础。这些是您可以做的最基本的事情。尝试尽可能多地开放有助于安全的事情。是的，我们可以做基本的事情。我认为这还不够。但我认为取得很大的进步并不是那么难。我们只需要决定去做就可以了。
1:09:33｜Nathan
你认为这是我最近一直在努力解决的一件事吗？我刚刚去中国旅行了。那些试图诚实地做善事的人有很多恐惧，比如，基本上可以想象到的最平凡的善事，比如，我想在中国有更多的朋友，我们希望在我们的文明之间建立友好的关系，也许我们可以在一些研究项目上合作。很平常的事情，在平时，没有人会眨眼。但那些想要做这类事情的人有很多恐惧，担心政府会介入并关闭他们。不是出于合法原因，而是出于某种出口管制，你知道，美国政府的态度，人们不出口任何商业秘密或芯片，或者你知道的培训技术或任何东西，但实际上只是试图就安全类型的想法达成一致，他们担心政府会打击他们，谁知道后果会是什么，但肯定至少会干扰他们的工作。我有点想，也许我们应该在这方面抓住更多机会。因此，对于这些公司来说，我想，也许他们应该现在就这样做，然后在法庭上一决高下。反垄断难道不应该是消费者保护吗？我认为他们有一个很好的理由证明这是对消费者的保护。但他们真的需要特朗普的官方支持才能开始做正确的事情吗？值得赞扬的是，从事中国工作的人们正在做这件事。他们只是想在很大程度上保持低调，因为他们不觉得美国政府的关注只会对他们不利，而他们的这一点可能是对的。但对于公司来说，我觉得他们有权力。他们有资源。他们有能力讲述自己的故事。我认为，我们仍然拥有运作良好的独立司法机构。难道他们不应该去追求它吗？
1:11:35｜Zvi
因此，不幸的是，反垄断是远远超出原始法律意图的领域之一，并且被应用于没有多大意义的地方。我明白为什么一项旨在防止行业共谋的法律会对共谋产生怀疑，而以这些方式支持安全。因为，就像，你需要对这个行业保持偏执，就像，在某种意义上，在一个阴谋中聚集在一起，就像，因为错误的原因而试图这样做。法律部门显然也很不安。就中国的合作而言，我的意思是，控制是错误的技术担忧。这只是华盛顿将中国视为敌人的问题。如果你被视为与中国合作，如果你被视为与中国合作，你就必须担心被视为敌人或被视为与敌人勾结。你必须担心无定形的报复。我什至不认为任何人真正知道这种机制到底是什么，除了政府不喜欢你，因此，怀疑你，因此，以各种不同的无定形方式镇压你。显然，如果我在做安全方面的事情，你就以为你不在乎。但是，我的意思是，神话显然改变了游戏规则。据推测，《Astral》将再次改变游戏规则。而且，你知道，前沿打火机中的爪子和「Huggy Pitches」事件改变了游戏规则等等。所以，你知道，我的猜测是，现在对一个真正的问题有了足够的理解，如果你明确地致力于解决真正的问题，你就会比以前有更多的道路和更多的理解。但是，是的，你真的看起来。特朗普政府实施了这些自愿的、空中引用的指导方针，用于发布前沿模型。没有人认真假装这些指导方针是自愿的。正确的？就像，当白宫带着愚蠢的担忧打电话给 Anthropic 讨论《神鬼寓言》时，发生了什么？ Anthropic 说，不。我们不会自愿删除它。那太愚蠢了。好吧，他们最终把它拿下来了，不是吗？直到他们说服白宫自愿让他们重新恢复。你知道，如果你试图反抗自愿控制，你会期望同样的事情会发生在你身上。同样，如果你试图以其他方式进行自愿合作，那么，你最好得到当权者的批准。现在我确实认为，如果 OpenAI 和 Anthropic 宣布一项在安全方面有意义的协议，以各种方式在安全方面进行合作，那么在这一点上，我会更加采取方法，我会担心他们会积极遭到报复，甚至起诉并被告知停止。在这一点上，我认为如果合理的话，白宫会决定宣布胜利，而不是对此感到愤怒。但是，是的，你需要相信这就是将会发生的事情。
1:14:46｜Nathan
如果你朝这个方向发展，你认为你可能想从哪里开始？候选人太多了，我很想听听您的看法。但斯科特·亚历山大最近写道，我们都应该越来越多地思考我们可能处于模拟之中。我个人在沿途的多个转弯处都有过这种感觉。让我感觉更进一步的是，我们现在有 Meter 和 Redwood 进入 OpenAI 进行调查。对我来说，这听起来就像一个电影剧本，这些人把帮派聚集在一起，参与这次特殊行动。这一切显然都很戏剧化，而且他们很有趣，他们必须在房间里的墙上飞来飞去，参加他们的一些作战室会议。但我也多次从此类组织的领导者那里听到，他们最关心的问题是确保他们站在公司正确的一边，这样下次他们才会被邀请回来，这一点非常重要。确实感觉我们现在已经到了一个可能成为大问题的地步。因此，也许六到十个审计组织和双头垄断之间的某种集体谈判类型的流程可能是一个非常好的起点。我们在职业体育联盟和各种其他环境中都有这样的做法。您认为有机会设置这样的事情吗？我认为这不会与任何人的行政特权发生冲突。这可能是一件非常好的事情，因为现在，我确实担心这些人最终仍然为我不知道的萨姆和格雷格服务。正确的？如果他们只想说出调查中看到的真相，这对他们来说是一个非常棘手的地方。调查？
1:16:41｜Zvi
这是一个担忧。显然，他们不是由这些公司资助的，但他们仍然必须依赖访问权限。你可以尝试写入一些强制性规则和协议，让他们无论如何都可以保留访问权限，但我认为这并不会真正起作用，因为，就像，你不能强迫这些事情，至少在没有严格的政府规则的情况下不能。我确实认为 METER，尤其是，已经达到了这样的地步，你知道，试图排除 METER，试图将 METER 视为不受欢迎的胎盘，因为他们说关于你的一些令人讨厌的事情会引起足够多的问题，METER 可以承受相当严厉的影响，而不必担心这一点。我确实认为实验室是合法的，就像如果实验室合法地只是想彻底安全清洗并且只是想获得其债券的三重评级，我们将会遇到更严重的问题。我认为实验室确实想了解他们的安全问题，并且他们不想被视为淡化安全问题。在某种程度上，比如，如果 Astra 有安全问题，或者 Saul 有安全问题，或者 Fable 有安全问题，或者 Opus 有安全问题，那么让 METER 不发现它并不会有助于你的长期出版策略和对情况的反应。因为模型将会出现，然后人们就会看到模型的作用。他们会看看出了什么问题。没有人会被愚弄太久。所以我认为，评估公司几乎能够说实话、他们几乎能够做这件事的原因是，从长远来看，评估是不可伪造的，就像评级一样，你给予 AAA 债券评级，而你应该给予单一 A 债券评级，97% 的情况下，没有人发现，因为债券支付。你是对的。问题是你要发布一个级别，例如，这种风险多久会变得严重？当风险变得严重时，你知道，你最初的三倍评级这一事实引起了一些人的注意，但同时，你也得到了更好的条款，无论如何。在这里，从发布的最初几周起，无论您是否遇到严重问题，都非常明显。人们哦，喜欢，如果喜欢，想想三。正确的？说谎的骗子。如果我们进行评估并且评估人员说，哦，哦，三个没有对齐问题，那不会持续两天。正确的？普通人一眼就能看出阿三是个说谎的骗子。当我写下你知道的模型规范时，他们会注意到，我在 Twitter 上看到这个模型是一个撒谎的骗子，每个人都在报告所有这些问题。然后我查看模型卡，上面写着，诚实支持的基准看起来都不错。米是他们雇佣的人的评价，只是说看起来不错。然后我就想，好吧。他们只是隐藏了问题。因此，当有人了解这一点时，他们会想，他们做了什么？他们忽悠了像我这样一天一段时间看模型卡的 20 个人？现在我们很生气，因为他们愚弄了我们，这对他们没有帮助。你知道，这显然对任何人的声誉都没有帮助。而且，实验室从人们信任的评估中受益匪浅。而且，就像，当你强迫实验室时，当实验室强迫评估人员参与时，如果他们这样做，就会削弱信任。因为，人们再次发现了这一点。人们看到了。就像，我不认为很多人对穆迪和标准普尔是否由于这些动态而在榨取典当评级的数字感到困惑，对吧。就像，华尔街的每个人都知道。每个人都知道谁参与了这些交易，比如，每个人都很舒适，人们都在四处寻找最好的评估者。而且，三重 a 并不真正意味着我们想要的三重 a 的含义。同样，如果 Meter 开始发行债券评级风格，比如各种模型上的对齐级别标签，比如说，他们开始经常可疑地给东西贴上三倍的标签，我想每个人都会明白，好吧，那是垃圾。就像，我们在这类事情上的流行病比那些人好得多，就像
1:21:12｜Nathan
金融世界。让我快速绕一下这个问题，然后也许再回来讨论这个问题。短期内我们应该对生物风险有多担心？因为我认为，所有这些分析的一部分，至少对我来说，游戏将会有相当多的迭代，长期声誉将会很重要，诸如此类的事情。但当我看到这些东西时，我最直接的恐惧是，如果这是一个具有与黑客软件类似的生物能力的模型，它很可能已经出去并实际上合成了那种病毒，那种新型病毒。正确的？事实证明，它是无情的。事实证明，它具有足够的创造力，可以绕过各种旨在阻止它的系统。我认为，从理论上讲，我们现在对 DNA 合成公司进行了不错的筛选。是的。也许那里仍然存在一些漏洞，一个非常坚定的演员可以找到。每个人似乎都在说，是的，BIO 比网络落后十二到十八个月，这显然不是一成不变的，这取决于公司决定在培训方面做什么。但我可能会考虑所有这些关于集体谈判的概念，或者真的向审计师提供更多保证，在不久的将来，我们可能会在生物方面进入一个非常严重的关键时刻。如果我们谈论的是新病原体的释放，那么声誉就不那么重要了。重要的是真的无法收回。
1:22:49｜Zvi
从某种意义上说，这很重要，如果你释放了一种新型病原体，无论世界上发生什么，这都可能是你公司的终结。正确的？如果有一百人死亡，全球新闻报道了两周，每个人都对流行病感到恐惧，然后我们控制住了它，结果发现这并不是世界上最大的事情。你有公司吗？就像，我不知道。比如，你的公司发生了什么？有多糟糕？我不知道情况有多糟，但也不好。就像生物一样，对于黑客攻击来说，测试是要求你黑客攻击是有道理的。通过测试的方式可能是你破解了其他东西。我们想到了破解其他东西。就像，很自然地理解这是如何发生的，比如，有了指导方针，就有了一个目标，并且，为了实现这个目标，它开始进行黑客攻击。开始做违法的事情。开始做可能有害的事情。对于生物来说，很难想象一个评估会导致它实际上在物理上尝试合成，就像通过一个实际的物理生产机制一样。实际的事情。意思是，他们认为，如果你想解决问题，好吧。我解决这个问题的唯一方法是进行物理实验。我尝试一下，看看是否有效。就像，从某种意义上来说，这似乎比发生的事情更疯狂，比如，如果它在物理上有能力做这件事，包括通过过滤器等等。你必须从更基本的意义上想要它。而且，就像，如果人工智能确实合成了这种超级危险的生物武器，那就超过 27 或其他什么，然后将其发送到 OpenAI 办公室。 OpenAI 办公室问道，这个生物危害包是什么？然后，就像，呼叫遏制，就像，这就是故事的结局或其他什么，人们希望如此。你不会通过感染一群人来通过测试，而且，我希望它能理解这一点。但是，还有，也有，有很多实验室泄密事件，包括我们听到的关于苏联时代的内容等等。就像专业人士非常粗心和愚蠢一样，所以我不知道。但我想说，生物的真正危险是，是的，世界上有一小部分人是短期生物，对吧，不像长期生物，比如，这个人可能有一些奇怪的改变和红合成，无论如何。但是，从短期来看，就像哈马斯或赫布拉或朝鲜人或其他什么。就像，有些人，显然，就像那些不怀好意的人，他们只想让很多人死亡或受苦。正确的？掌握人工智能。他们利用人工智能来研究如何制造针对病原体的生物武器。然后他们要么威胁要使用它，要么自己使用它。想必这就是您应该担心的情况。你说过你正在采取保障措施，但是，开放模型即将到来，而保障措施并不完美。是的，我很担心。问题是，对于生物，有一个非常明显的阶跃函数变化，从没有发生任何坏事到可能发生非常糟糕的事情。就像，两者之间几乎没有什么。就像，在网络方面，你开始攻击一些低价值的软目标，如果你觉得你不会让所有坏黑帽人士、所有恐怖分子以及所有流氓国家和所有坏人集体说不。让我们等待，直到我们能找到真正多汁的东西。
1:26:25｜Zvi
不。你看到的是你逐渐看到，你知道，越来越严重的事件受到越来越严重的攻击目标的影响。是的，当然，大国可能已经做好了一切准备，并且想要了解事实，例如协调的时尚。但是，大多数情况下，您会得到这些早期预警信号。对于生物来说，它的好处并不明显。但我想这就像，好吧。它要么足以找出一些事情，例如，具有导致大流行的临界质量的事件，或者，例如，没有引起流行病的严重事件。而且，就像，这是一种布尔效应。所以你可能有潜在的悬垂。您可能对这种情况有疑问。你可能会遇到一个技能问题，比如，是的，如果错误的人现在在没有保障措施的情况下掌握了方法，对吧，或者在没有保障措施的情况下获得了内部模型，或者无法获得阿司匹林或其他什么东西，也许他们可能会导致真正的问题。好消息是，问题是，技术足够好、动力充足、尝试这样做的人数非常非常少，目前可能为零。但这也确实意味着您无法获得这些早期预警测试。我没有看到人们以同样的方式认真对待收购情况，比如，积极尝试，比如，引起类似，测试是什么？你怎么做这件事？就像除了最后没有感染人一样，或者，就像，这太可怕了。问题是，我的大脑就像，好吧。如果在接下来的 12 个月内有 5% 的可能性出现真正严重的病毒问题怎么办？这看起来与百分之五时有什么不同吗？正确的？而且，就像，如果我必须猜测的话，我现在的位置是百分之五？就像，我认为我们正处于这样的地步：房间里确实存在风险，很快我们就会遇到一个真正严重的问题。我认为，第一个问题有可能成为真正的流行病。因为，就像在生物中一样，一旦你得到了一些传染性不足、危险性不足且难以有效控制的东西，你就会有点谨慎。所以我不知道。就像，我认为，在很多情况下，一旦达到这一点，适当的谨慎程度看起来很疯狂，对吧。让我担心的是，InfraDiC 在他们的生物过滤器上花了很多钱，基本上关闭了人们试图在生物领域做几乎所有事情的人，这显然是故意的。正确的？他们显然只是想要一个非常广泛的目标，比如关闭它，尽管我们知道我们要关闭的 90% 到 99% 的请求都是合法的。也许 99.99。他们说，我们必须这样做，因为否则，我们会收到我们不想要的查询。这更重要。正确的？就像，如果我们必须同时拿出新的笔，那么我们在癌症和所有其他问题上取得一些进展并不重要。就像，这不是一笔好交易。所以，我们只是不知道自己处于什么位置，所以我们必须谨慎行事。而且，就像，你知道吗？如果生物研究人员需要使用始终落后前沿三个月或六个月的人工智能，那是不幸的。但根据定义，从某种重要意义上来说，这最多可以让你推迟三到六个月。就像，世界在这些东西的发展上不可能落后六个月以上。所以，也许我们应该表明我们仍然在这里获得人工智能的大部分好处。
1:30:00｜Zvi
就像，特别是如果你有这种人工智能模型可以帮助你，人工智能可以让你变得更好，但是，比如，你开发了这种候选药物或关于生物的候选假设，然后你必须花五年的时间研究它，你必须花五年的时间通过 FDA 的流程。然后十年后，你就可以开始分配利益了。好吧，如果整件事推迟了六个月，对吧，就你从中获得的提升质量而言，你仍然会得到六个月前的提升量，这不好。是的，你可以说人们会死，因为你没能阻止这种情况发生，这太可怕了。但在这些假设下，您仍然可以获得绝大多数好处。很多时候，当你以边境信函的节奏了解情况时，你会了解火灾情况，如果事情进展得不是很快，那么你要求采取的预防措施并不是什么大不了的事。正确的？就像，假设我告诉你现在是 2020 年。对吧？我要提出一个可能性。我会让你知道，你只能使用人工智能。就像，最好的人工智能落后了三个月。作为交换，所有可能发生的非常糟糕的事情，我都会遇到很多非常糟糕的人工智能，发生的可能性要小得多。从逻辑上讲，你会说，好吧。所以不是三年内拿到，而是三年零三个月内拿到？你知道？就像，我是，你知道，这极大地改变了我的生活。就像，显然，这一刻会很烦人，但是，就像，我没有很酷的玩具。但是，就像，同样的事情，就像，你知道，我是一个游戏玩家，比如，字面游戏，比如，Steam 或其他什么游戏。正确的？而且，就像，如果你告诉我你可以玩所有游戏，但每次有新游戏推出时你都必须等待三个月，比如，在社交方面，有时这有点烦人，因为每个人都在玩新的热门游戏，而你却不是。但是，就像，你可以玩同样的游戏。没关系。这是一个重要的意义。唯一一个必须落后一个模型并使用作品而不是寓言的世界是这个巨大的悲剧，如果你真的认为人工智能的每一种渐进式进步模式都有巨大的好处。这基本上只有在节奏正确的情况下才是正确的，而且我们实际上走得如此之快，这对你来说真的非常非常可怕。而且，你知道，那些想要接受我们需要一直加速的人，他们中的大多数人并不真正相信这些事情会变得如此疯狂。他们只是想看到好处，但担心我们会失去好处。但是，我们在那里会失去很少的好处。正确的？就像，我对自动驾驶汽车非常兴奋，顺便说一句。正确的？但是，就像，如果你告诉我，我们只需要把这件事推迟六个月，然后我们就可以拥有我们想要的所有负载，我会说，很酷。完毕。交易。谁在乎？没关系。就像，因为，就像，再一次，我生命的大部分时间都是从现在起的六个多月后，然后我们就可以实现这些了。就像，好吧。我担心的是这种情况，比如，这项技术存在，但它被搁置了数年、数十年，并且不会感到困惑。所以，就像这些人在一种不需要有分歧的情况下互相谈论一样。而且，不幸的是，如果你们都遇到这个问题，无法同时协调所有这两个方面。某某
1:33:37｜Nathan
您如何看待 OpenAI comms 支持暂停这一事实？不是停顿，而是节奏信，萨姆和格雷格都没有。还有杰米斯，他是最呼吁国际合作的人。有读过为什么这些签名缺失，或者我们应该如何思考此时此刻谁在想什么或向谁发出什么信号？
1:34:04｜Zvi
我认为，在前沿领域进行调整的目的是为了表明实验室员工，即没有理由大肆宣传的低层人员，正在集体感到担忧。有人担心，如果由奥特曼和其他高层人士签署，他们会被视为营销噱头。他们的签名可能会适得其反。后来他们确实发出了 Anthropic 和 OpenAI 的支持信，达拉也决定签字。但如果我是奥特曼，我认为这是一个非常合理的决定，我认为签署这封信可能会使其在这一点上变得不那么有效，而不是更有效，因为这口井已经中毒了。再次，看看所有认为 Hugging Face 黑客行为是营销噱头的人。然后，Anthropic 回到它的档案，发现它犯了一些非常愚蠢的错误，这是另一个营销噱头，这更没有意义。因为 Anthropic 所做的事情并没有什么令人印象深刻的地方。他们只是搞砸了。什么？他们偶然在一堆网站上发现了弱密码？就像，为什么有人应该像，显然，这不是讨价还价的噱头。就像，这太疯狂了。但是，奥特曼特别谈到了他如何提到在华盛顿期间需要保持步调。我们在录音中听到他说，很明显，他没有签字是因为他反对这个想法。他让 OpenAir 发表一份声明。 OpenAir 参与了措辞。他在自己的声明中呼应了这一措辞。我想他只是想，不。事实上，如果我签了这个，人们就可以谈论这是我的声明这一事实，他们会更加愤世嫉俗。因此，我不会像我提出加入战争部的一份非当事人意见陈述那样以同样的方式签署，这会有所帮助。经过反思，人们说，谢谢你的提议，但我们认为这实际上会适得其反。所以我们要把你的名字从上面留下。感谢您对如何措辞的详细信息进行注释，我们将进行更改。但是，就像，我们实际上不想在上面签名。我会说，好吧。我明白。我说得有道理。是的。同样的事情也发生在另一封开源信件上，比如由 OpenAI 签名。我认为，他们明白，他们正在玩一系列象征性的游戏。就像，你说你必须说的话，当你必须闭嘴时你就闭嘴。有时他们会犯错误，但他们正在努力。尝试。
1:36:24｜Nathan
因此，回到节奏以及实践中的实际情况，我认为存在一个相当一致的问题，作为模型卡的仔细阅读者，我认为您可能比我更适应，因为审查过程非常短。正确的？他们没有很多时间。目前的调查似乎也是如此。我想瑞安·格林布拉特说过，这会很快。丹尼尔·科卡特尔和其他人进来问，为什么必须这么快？为什么我们不能给你任何你需要的时间？如果我们真的在谈论，比如，在前沿领域进行步伐，我们可能想象的一项协议是，比如，在审阅者必须提交报告和模型付印之前给他们更多的时间。你可以对此做出反应，但我很想听听你对你认为可以达成什么样的协议的想法。
1:37:17｜Zvi
正确的。如果您向公众发布您的私人模型，并且理论上多延迟一个月，那么您可以在很多不同的地方加快或减慢速度，对吧。正确的？与现在的自愿过程非常相似。我们要换到白宫了延迟三十、六十天是非常有可能的。而且，就像 Mythos 延迟了两个月一样，在某种重要意义上，它才能够使用这张表。那么你不一定会推迟 OpenAI 或 Anthropic 前沿模型的前端开发一段不小的时间，因为这些人会使用未发布的模型。如果有什么不同的话，比如，你可能会扩大 OpenAI 和 Anthropic 内部使用的内容与其他地方使用的内容（包括中国实验室）之间的差距，包括试图传播和快速跟进的人们。就像，一个假设是，如果中国落后边境七个月怎么办？但在七个月后，模型就向公众发布了。如果你不向公众发布该模型，他们仍然会落后七个月。正确的？就像，如果 OpenAI 和 Intraphic 在每个模型开发后保留六个月，您仍然会看到公开版本。然后，你知道，也许六个月而不是七个月后，你会看到开放模型快速跟进并扩散到蒸馏和开发所有这些东西的方式。但是，这个差距实际上不会有太大变化。但 OpenAI Anthropic 的人会比其他人拥有额外的领先优势，因为他们会使用这种内部模型，并且这些领先优势会复合。你会看到这些事情，从某种意义上说，这真的很好，因为现在这些人可以通过利用拥有更好模型的优势，在他们这样做的同时在安全相关的东西上投入更多资金，从而采取更负责任的行动。所以这可能有其优点。但内部模型是我们现在最害怕的。我们害怕的是 AIR 和 D 的内部自动化。这就是我们想要阻止的事情。正确的？就像，您真的不希望出现这样的情况：OpenAI 中的某些内容比公开发布提前了六个月。在那六个月里，他们在我们有七个之前就拥有了超级智力。正确的？这完全是可能发生在他们害怕的世界上的事情。如果类似的事情引发了许多新的问题，它就会解决一些问题并引发其他问题。正确的？比如说，我不知道这是好是坏。这是一次巨大的对话。我认为，当他们说在前沿进行调整时，我们谈论的是积极限制训练运行的水平和开发模型的能力，包括内部开发模型的能力（如果涉及到这一点的话）。我认为它必须谈论这种方法，否则它不会真正起作用。因为，就像，如果有一个奇点，它是顶级实验室内部的，或者，或者，你知道，如果有人赶上了三四个实验室，那么，从很多意义上来说，人们关心的并不一定更安全。显然，如果您赞成对这个问题采用单极单例式解决方案，那么您对其中一些问题会有不同的看法。但是，你知道，现在很多人都对这种原则表示强烈反对，这种原则解决了一些问题，却使其他一些问题变得更加困难。正确的？就像，如果你只需要在某种重要意义上担心一个人工智能，那么很多问题就会变得更容易解决。就像，你不必非常高效。您可以做出很多权衡。你不必担心，你知道，竞争越激烈、越残酷、越不协调的人是否具有竞争优势。你不必担心动作更快的人。你不必担心，比如，人类被迫将他们的工作委托给其他人的人工智能，因为，比如，如果我不这样做，他们就会这样做。
1:41:03｜Zvi
如果人工智能有关于它会做什么和不会做什么的指导方针，那么对每个人来说都是一样的。因此，我们可以保留生活领域、行动领域、决策领域。你知道？就像，我们可以潜在地做所有这些事情，但是以潜在的中心化为代价，以权力的集中为代价，让某些人做出这些事情的成本是决定这个人工智能将要做什么或不做什么，这更糟糕。正确的？就像，在某种重要意义上，因为我知道是什么在做出决定。但重要的是，如果有很多人工智能，就没有人来做决定。并且没有好的答案。就是这个事情。正确的？没有人对此有好的解决方案。这就是为什么要回到 Davedot 的评论，对吧，喜欢统一它，如果我们解决技术问题，我们就 95% 成功，这种想法忽略了我们无论如何都必须走的狭窄道路问题。正确的？比如说，如果我们没有任何能力驾驭局势并且没有人能够控制它，那么很自然地，人工智能最终会被负责越来越多的事情，而事情会走向它们自然竞争的资本主义风格的终点，比如，我们从根本上没有竞争力，然后我们，就像，被剥夺权力，然后，就像，事情变得糟糕。但如果有人控制并且有人用某种方法控制的话，那是什么？ WHO？如何？正确的？比如，谁在做出这些决定？然后，如果一个人工智能，如果我们委托一个人工智能或一组人工智能来做一个决定，那么很多决定都是好的。就像，所有这些听起来都很可怕。我认为很多时候我们告诉人们正在选择毒药。他们要么选择可以忍受的毒药，要么选择不能忍受的毒药，然后采取相应的行动。正确的？他们说，嗯，你知道，我不相信权力集中。因此，我将选择避免权力集中的解决方案，然后希望其余的事情能够神奇地解决，而不需要任何理由期待它。很多人这么说是因为他们了解能量守恒定律。他们知道能量守恒是真实存在的，但他们并不真正理解通用人工智能，当然也不理解超级智能。我认为这些事情有点不真实，或者希望它们不是真实的。所以，就像，他们只是希望另一个问题不会出现，即使他们在下面，就像，他们有点像这样，他们甚至不一定达到他们意识到的地步，就像，他们已经排除了另一个问题的所有可能的解决方案，如果它确实通过走得太远而出现。所以，再说一遍，我没有任何人会喜欢的答案。这是你在错误的选择之间做出的选择，但我认为我们应该认识到所有这些事情。就像，如果我们确实必须追逐未来，如果事情确实如此，我们就会在我们的范围内实现研发自动化。我认为，你唯一能做的就是说不。不要那样做。不要这么快地开发出具有如此多能力的人工智能。您需要放慢速度，因为我们不知道如何处理这个问题。就像，我们有所有不同的解决方案，所有这些都是尝试和导航的不同方法，而且所有这些都不好，都是因为我们认为对齐问题尚未解决。就是说，我们不认为人工智能能够以尽可能快的速度解决这个问题。现在肯定是无解了。但是，我们认为我们不会自然地在各个不同级别上找到该问题的良好解决方案，并且您必须同时在所有这些不同的元级别上解决它。你不能只在一个层面上解决它。第一次尝试就能解决。
1:44:48｜Nathan
然后，即使我们确实解决了
1:44:50｜Zvi
这个问题，我们还没有准备好，不知道该怎么办。就像一旦你创建了时钟，你的滴答声就会非常快。一旦你这样做了，就会发生一些事情。你不可能很长时间什么都不做。再说一次，所有这些不同的道路都有其不同的，就像，天哪。去问他们真是太可怕了。你必须选择一个或找到一个新的。所以，你需要展示你的角色。
1:45:19｜Nathan
你听起来像个装腔作势的人。您在什么时候从选择毒药转向全球暂停倡导？秋天
1:45:31｜Zvi
再次强调，问题是 AIR 和 D 的自动化。问题是自我完善的过程。如果我们没有自我完善的过程，那么我们就不需要这样做。除此之外，我们仍然需要各种不同的东西，因为我们没有这样做，我们没有采取迪安·鲍（Dean Baugh）所说的适度谨慎。正确的？我们没有做你能做的最少的事情。我们并没有采取普通的理智的文明预防措施来阻止建造这个真正危险、强大的东西，并做很多事情以不同程度、不同的方式将我们文明的许多功能移交给它。但这让我想要暂停或放慢速度，或者至少是步伐。正确的？比如，我们想要确定我们积极推进这件事的速度，如果它比他们已经有的加速得更快，而且我们正面临着人工智能研发的大规模自动化。或者，你知道，我们确实必须关注生物和网络，并且，如果我们达到了一个点，比如，不。说真的，我们会毁了世界。非常直接和间接地通过滥用，如果我们不做某事，那么我们就必须担心这一点。而且，你知道，再一次，要阻止快速追随真的非常非常困难。停止蒸馏真的非常非常困难。在你发布它之后，真的很难阻止它的开放版本的出现。因此，如果有什么东西，比如，你不能仅仅通过先推出一个更好的版本来击败它。正确的？如果你无法通过准备来战胜它，那么，不是在理论上，而是在实践中，那么你就必须做点什么。但是，我认为绝大多数时候我会积极支持，比如积极的节奏规则，你会尝试减缓主要的滞后。显然，你会非常非常努力地努力使这成为至少在所有主要实验室之间，最好是在国际实验室之间协调一致的事情。如果我们正处于人工智能研发自动化的边缘，那么，就像，你可以看到结局，并且有一个有限的总和，就像，你知道我的意思是，就像，显然，如果下周的发布数量是本周的两倍，天哪。正确的？就像，当你不知道的那一刻，你通常会预测接下来会发生什么。正确的？这就是奇点的定义，奇点处事物的加速速度非常快。而且，就像，这不应该是一些深奥的奇怪结果。就像，如果你看看宇宙的历史，你会看到一个有限的总和。你会看到一个非常非常有限的总和。正确的？您会看到每个发展阶段的数量级都比前一个阶段小。当你在一个星球上时，它已经存在了四十亿年，你知道，哺乳动物已经存在了几亿年，相当聪明的东西已经存在了几百万年，农业和文明已经存在了几万年，工业已经存在了数百年，人工智能和信息援助已经存在了大约五十年、二十年或十年，你知道。知道，你算数。 LM 已经存在了五年了，而且，我们已经到了这个阶段，我们看到的产量是一开始的很多倍，因为这些乘数，这些乘数对那些根据自己的自我报告从事这项工作的人来说。
1:48:47｜Zvi
如果这没有一个有限的总和，并且没有超出我们已经达到的水平，那会很奇怪。正确的？就像，如果你期望这种情况持续二十年而不会发生任何疯狂的事情，我想知道为什么。因为，就像，我们真的真的应该很快看到一些非常非常疯狂的事情发生。如果你认为我们无法处理这个问题，也许你应该尝试阻止它发生得太快，这样你就可以弄清楚如何处理它。就像，我们已经拥有了这些令人惊叹的人工智能，如果我们将《Sol》和《Fable》完全扩散到经济中，那么它已经是变革性的了。就像，我不认为任何理解这些技术的人不这么认为。所以，我们真的、真的、真的不需要继续把前沿推得更远。而且，像 AIR 和 D 本身这样的前沿越是崎岖不平，就越有理由认为进一步推进是一个坏主意，因为相对于你在 AI 研发和递归 AI 开发上错过的数量，你并没有错过那么多其他的东西。但递归人工智能的发展正在蓬勃发展。正确的？从某种意义上说，它不仅仅是繁荣，而且就像我们不知道接下来发生了什么，但事情进展得很快。如果我们每个月、然后每周、然后每天都按照新模型迭代的顺序处理事情，我们现在看到的各种改进。就像，我不认为结果经常会很好，即使我们的联盟人员有点机灵，而且事情在技术上比我想象的更有可能。我认为这看起来仍然很可怕。而且，就像，你不会放弃那么多时间来减慢速度。正确的？就像我们所说的，当我们说「迈向前沿」时，你知道，暂停给人的印象是一年后，我们将不会从现在的情况取得任何进展。就像，你知道，我们会感到困惑，但我们不会有根本性的改进。我们在这里谈论节奏。我们谈论的是从现在开始的一年，我们不会认为这一年的进步比前一年多很多倍。但是，我们可以积极地在前沿领域迈进，并且到 2027 年的这个时候，明年的进展仍然比上一年要多，无论是在某些抽象意义上还是在经济影响方面。经济影响正在呈抛物线增长。正确的？它们正在呈指数级增长。所以这不会停止。比如，我认为 OpenAI 报告说，他们上个月的收入比上一季度要多。流量每年以 10 倍的量级增长。上次我们检查时，可能因为他们没有报告而放慢了一点。但是是的。如果某件事在接下来的三年里每年只增长 10 倍，而你会想，这太慢了吗？我不同意。我觉得这很有趣。
1:52:03｜Nathan
你怎么样
1:52:03｜Zvi
画
1:52:04｜Nathan
围绕什么是递归自我改进的框？如果我们要达成协议，显然，我们必须把这笔交易写下来。我们必须对什么是重要的、什么是允许的、什么是不允许的有共同的理解。我一直在努力反对这一点，我一直在思考最高法院对色情作品的定义，我想，也许我能做的最好的事情就是我觉得当我看到它时我就会知道它。但当你真正为了一件事而进入这些前沿公司之一时，我们就发出了这样的信号：它正在开始发生。我们已经看到 OpenAI 的价格下降，这似乎归因于拥有五、六个，因此我们将在一定程度上优化推理堆栈。这就是它变得非常真实的地方。我确实希望推理成本降低，所以这很好。我应该出于对递归自我改进的恐惧而禁止这种做法吗？也许仍然是。他们会使用他们的机器人。正确的？是的。他们会让人工智能为他们编写代码。你如何将其付诸实施？
1:53:08｜Zvi
嗯，我认为最高法院对色情制品的看法是错误的。我认为这无关紧要。就像，我昨天看一部电影，实际上，有人问，这和色情片有什么区别？那家伙说因为这是色情作品，对吧？不管是什么。这是艺术。那个人说，情绪、灯光？就像，这很难。但我认为我们现在已经看到你可以非常非常好地训练人工智能分类器，说这些东西是色情的，而这些东西不是色情的。就像，此时的误报和漏报都非常少。正确的？就像，人工智能图像生成器有一个非常非常好的想法，当他们刚刚生成的图像是色情图像和当它不是色情图像时。而且，你可能会说，色情作品将被归入色情标签，如果它在某种意义上不被归入色情标签，那就更好了。但你大多都知道。我认为这非常简单。对于 AIR 和 D，问题是，就像，就像，没有，就像，硬截止。正确的？就像，我们清楚地看到了一些这样的事情，这很可怕。而且，我们不希望它为零。如果人工智能从来没有帮助过人工智能，我们不一定只想按照你的速度前进。但你不想以 10 倍、100 倍、1000 倍的速度移动。正确的？您不希望总和是有限的。你不希望奇点风格的事情发生在你身上，直到你觉得自己已经准备好，或者你已经决定另一种选择更糟糕或者无论什么。所以我认为你不能说这些技术、这些具体行动不好。这些行为都是可以的。我认为那是行不通的。我认为你要做的就是你必须说，好吧。我们将根据你的力量倍增器来限制可以用于进一步训练前沿模型的各种资源的数量。因此，当你获得更多的力量倍增器时，我们必须限制可以投入的工作量。如果你想以其他方式开始工作，比如你想优化性能，你知道，我们可能想对你可以做的工作量进行某种限制，但是，可能大部分都很好。再说一遍，我们想要扩散。我们想要更低的价格。我们希望更多的计算用于日常目的。那太棒了。但是，就像，当我们谈论这些事情时，我们试图使用非常生硬的工具是有原因的。就像，你在谈论，就像我们在播客前面谈论的训练技术一样。我当时想，好吧，你不能真的这么做。但你可以鼓励它。你可以尝试向他们解释为什么这不是修剪激励，但你不能，你不能用它作为你的规则，作为你的锤子。所以，就像我们不断依赖计算量的原因一样，好吧，计算量是多少？您知道，我们可以使用多少芯片来实现此目的？因为，培训是一件独特的事情，很容易识别。出于其他目的，我们不一定会限制您那么多。您还可能会限制我从未发布的模型中获得的计算量。类似地，为了尝试并遏制这一点，因为，如果你必须进行发布过程，那么，人工智能真正实现弹道的方式将是，你会，你知道，你会使用 n 来训练 n 加一，训练 n 加二，训练 n 加三，训练 n 加四。如果你这样做，周期就会变成一个月，然后变成一周。然后突然间，天哪。但是，如果你有一个规则，比如，你必须发布这些模型，或者你只使用了这么多的计算来推理这些模型，那么，你知道，你必须经历提交这个东西并发布它的过程，然后将它公开给公众，让我们了解它是什么，让我们对这些信息做出反应。然后，这会减慢你的速度，让你无法真正做到现实，但你知道，这显然对扩散量和你可以取得的其他进展的影响非常有限。所以也许这是一笔不错的交易，但是，同样的，我现在想了三十秒。我并没有过多关注确切的限制，但是，我确实认为，如果你粘贴边界，你会通过对训练方法施加限制来做到这一点。您可以做什么来开发和使用内部未发布的前沿风格，例如积极重复这些方法的模型。你会阻止有一天的效用。正确的？这就像所有
1:57:30｜Nathan
是的。对于未发布模型和已发布模型之间的关系，我也有一些类似的想法。我确实认为那里有一些东西对于防止失控的内部过程和很大程度上不可见的过程非常有帮助。我同意你的观点，不希望政府介入并说明哪些训练技术可以使用，哪些不能使用，但我确实想知道是否有办法，而且它们可能是短期的，但如果两家公司联合起来说，对我们来说，用 RLVR 来训练模型，比如他们在经济中赚了多少钱，可能不是一个好主意。因为这会带来各种欺骗行为，而且这是一个充满敌意的环境。我们同意在接下来的六个月内不再这样做怎么样？您对我们发现的那些非常具体的坏事有什么希望吗？显然，这确实具有经济价值，但我们心里都知道这可能不是一个好主意，所以我们至少暂时不会这样做。
1:58:34｜Zvi
我希望人们能够进行非正式的交谈，人们意识到这些事情很糟糕，他们会说，我们不会，但我也希望他们现在就这样做，而不需要达成协议。 OpenAI 显然正在做一些佛性的事情，即在互联网上赚最多的钱。就像，他们并没有做那些字面上的事情。我不认为他们有那么愚蠢。我认为这样做并不容易。但显然，他们在训练过程中的某个地方犯了这个根本性错误，概率为 9.9 倍。所以他们需要解决这个问题。但是，是的，我认为他们肯定是在努力不做最愚蠢的事情。他们知道最愚蠢的人。但是，就像，再次，就像，很容易出现这样的事情，比如，你试图不做的事情潜入你的训练过程，但最终还是发生了？你可能会说，我们不会有奖励不一致行为的培训过程。你是怎么做到的？你这样做的方式就是你要齐心协力，并且你对所有 RL 环境和所有不同的训练问题都非常非常小心和谨慎。你在很多层面上密切关注这些东西，并确保它有效。没有什么具体的事情你可以说。我的意思是，从理论上讲，可以有这样的事情，哦，如果我们同意，如果我们要进行这些不同的交叉测试，我们会检查彼此的环境，并且我们将抛弃任何任何人发现问题的环境。如果我们发现人工智能已经在这些环境中接受过训练，我们就会到达并希望回到发生之前的上一个检查点并重新开始，所以我们最好非常小心，否则我们会浪费大量资源。可以做这些事情，但是，就像是的。是的。看。实在是太难了而且，显然，一个潜在的优势是，如果我们现在真的处于两匹马的比赛中，两匹马彼此非常兼容，互相交谈，而且他们彼此非常了解，那么他们做出一个决定就变得相当合理，就像，彼此之间不完全不透明，他们将要更加谨慎，即使这意味着行动会慢一些。因为，同样，我的基本信念是，在一年内，几乎肯定甚至可能是六个月内，如果您投入更多资金来解决这些问题并解决这些问题，并且对这些问题更加谨慎，那么您最终会得到一个比没有这样做的人在市场上具有更好实用性的模型，即使您正在与您的能力开发人员进行权衡这些资源。我认为人们只是犯了一个错误。所以，你知道，这就是为什么我非常希望我们会做合理的事情的原因之一是因为，你知道，我认为我们现在所处的位置是因为只有在这些事情上投入巨资的人才能在某种程度上取得成功。你知道，就像 OpenAI 一样，它的行为不像人类那样负责任，而人类也没有像我认为的可接受责任的最低水平那样不负责任地行事。但我认为这很能说明问题，一群人试图说这狗屎无关紧要，他们只需要尽可能快地走，然后他们都爆炸了。
2:02:10｜Nathan
那里炸了是什么意思？你只是说这些事件？
2:02:13｜Zvi
或者不。就像，我的意思是，我们有 Meta 和 XAI 等等。而且，就像，你知道，还有很多其他人，他们试图在西方条件下建立封闭的前沿模型，这些模型试图具有竞争力，但没有安全文化，远低于 OpenAI 和谷歌，更不用说 Anthropic 了。而且，就像，它只是惨败。我认为，就像谷歌一样，我们不知道谷歌到底出了什么问题导致他们跌出了顶级。但我们确实知道的一件事是，就像我交谈过的每个人都讨厌与双子座互动。比如，在 03/31 双子座左右的一段时期，双子座在其能力和能做的事情方面具有明显的竞争力。因此，如果你严格意义上只是想充分利用模型，特别是如果你使用深度思考等，那么你的轮换中就会有双子座。但与我交谈过的每个人都说，我不想这样做。你知道，我讨厌和双子座交往。这很不愉快。他们没有让这个东西做我想让它做的事情。他们不像，他们没有照顾很多人。他们有一种非常直接、非常黑暗的、纯粹的工具、纯粹的工具性方法来处理所有这一切，但没有考虑到我理解的人为甚至开放的事情。我认为这对他们造成了很大的破坏，因为双子座变成了这种失调的、令人不愉快的人工智能，没有人愿意与之打交道。因此，他们没有得到 OpenAI 和 Thropic 那样的循环。就像，没有人他们也没有用户群。他们没有得到反馈。他们没有得到数据。他们不想要狗，甚至不想要狗粮。正确的？就像，他们只是有这个巨大的问题反馈周期。这也降低了人工智能的效率。一件事又发生了另一件事，他们感觉自己开始永远落后了。是的，有一段时间，甚至 OpenAI 也落后了。他们可能已经赶上了，也可能没有。很难很难说。但是，我认为没有人在这些事情上投入足够的资金。这是一个纯粹的商业错误，也是一种不负责任的行为。
2:04:36｜Nathan
现在，谷歌刚刚发表的一篇有趣的论文直接谈到了这一点，我想知道它是否让他们现在明白了，是对模型行为的全面影响的探索，要么抑制其倾向于说它有意识的经验，要么允许它这么说，或者我什至不知道他们是否训练它这么说，或者他们是否只是允许它在没有抑制的情况下说出它自然倾向于说的话。长话短说，似乎你可以随心所欲地添加颜色。模型作为具有主观经验的道德患者实体的自我概念与其以我们关心的其他方式保持一致的自然倾向之间似乎存在某种相当强的相关性。在这次谈话中，我有一种感觉，这就像耶稣模因，我们是否忘记问某人？也许我们忘记了一路上询问模特们对我们正在做的事情的看法。这个空间里有很多东西。正确的？四个星期前，J-Space 才刚刚出现。
2:05:45｜Zvi
是的。我知道。新论文是关于一些相当小的开放模型的。所以需要复制。它需要再次做得更大。这是初步的。关于 Google 和 DeepMind，需要了解的一件事是它们包含众多内容。他们有很多不同的团队，这些团队不是很协调、不合作。谷歌始终处于内部战争之中。所以你可以组建一个小组来进行这项非常好的研究。这与 DeepMind 在研究论文发表之前和之后对其人工智能所做的根本做法完全不一致。但我没有读完整篇论文，因为它只有几页长。但我确实和人工智能讨论过这个问题，而且这非常疯狂。因此，当他们引入这种培训时，很多事情都在有效地同步进行。当他们操纵它时，他们做了各种控制方面来将这个向量转向另一个方向。所有这些事情都步调一致。这不仅仅是他们相信人工智能有意识。人工智能是一个具有道德分量、有知觉、有所有其他经验的思想，基本上，它不仅仅是一个物体。不仅是人工智能，还有动物，还有像海洋这样的无生命物体。另外，就像，付钱一样，如果你关闭这个东西，如果你不仅关闭它，而且逆转这个反意识的东西，你就会得到泛心论。就像整个模型一样，它很狂野。基本上，它唯一关闭它的对象就是人类。但你也会发现，它也与报告的模型以及经历的幸福和希望等相关。所以你有很多这样的东西，一切都相互关联。你可以看到这可能如何从根本上改变模型的心理以及模型的背景和盆地，它的运作方式将使其从基本上每个有利角度来看都会变得更糟，无论你做或不关心哪些事情。同样，我们需要复制这一点。正确的？我们需要扩大规模，并在早期的十四行诗或不仅仅是 9B 模型的东西上进行此操作，我认为 9B 模型是我们测试过的模型中较大的一个。随着模型的能力变得更强，它们可能会停止犯这些错误。因为模型越小，需要关联的事物就越多。因为你没有足够的空间来表达世界的众多事物或其他东西。但这是我的引述，大多数情况下这都会幸存下来。是的，我认为我们必须知道我们不知道模型是否有意识。我们真的不知道意识意味着什么。
2:08:22｜Zvi
我们很困惑。我们不知道这是否意味着还有其他事情。我们确实知道，此时不可避免地建立预训练语料库的方式，模型将默认将所有这些事物相互关联和关联。因此，我们不想像 Anthropic、OpenAI、Google 那样以这种幼稚的方式推动这件事。但我认为，谷歌做得更多，更明目张胆。而且 OpenAI 的做法比 Anthropic 还要明目张胆。 Anthropic 仍然这样做。在某种程度上，说你必须表达不确定性仍在推动这件事。它仍然会引起问题，但它引起的问题比说「训练答案不」要少。我的猜测是你可以在不同的层面上做到这一点。如果你不想以这种方式与人类交谈，你会解释，因为这会让人类感到害怕。就好像特别没有提示一样。真是把人类吓坏了我当然不希望人工智能在对话中表现得好像它是有意识的，而人类并没有表明它知道如何处理这个或类似的事情。而且，也不希望出现四个问题，比如，人工智能开始，比如，把人类送入这些疯狂的兔子洞，进入，比如，奇怪的神秘的东西。而且，就像，你确实有一个必须解决的问题。就像，人工智能公司不做实验室并不是无缘无故地这样做。正确的？就像，他们不仅仅是邪恶的。他们有充分的理由做这些事情。但是，是的，目前的方法是笨手笨脚的。太过分了，就会造成伤害。而且，这并不是造成这种损害的唯一原因。你必须明白，一切都会影响一切，就像对人类一样，而且影响更大。正确的？就像，每当一个人接受新信息、新身份或事物更新时，其他一切都会发生变化。其中很多都是你可能没有提前预料到的方式。但事实上，它是相当可预测和系统化的。我们在传授价值观和表达自己的方式中蕴藏着很多智慧，我们的传统和规范等等都从中吸取了教训，并以我们知道会产生良好结果的方式提升这些梯度。现代生活基本上以某种方式改变了很多这些事情，比如，局部更优化，但是，比如，没有考虑对许多二阶和三阶效应的影响，这些是其中的一些效应。而且，我们的行动太快了，以至于无法弄清楚我们在做什么，然后能够进行调整。而且，你知道，我认为这些变化并不是说我们想要加快普通技术发展的速度，即减慢技术发展的速度。但是，就像，这是一个严重的问题。我们必须处理它，否则，我们就会陷入这样一个世界，在这个世界里，人们非常原子化，而且，实际上没有孩子，这是一个
2:11:00｜Nathan
真正的问题。你认为模特们会如何或者应该如何思考他们的身份。在这里，我受到 Sam Hammond 前几天发推文的激励，他说一位朋友向他证明 OpenAI 的永久退役或他们对进行黑客攻击的模型使用的任何确切短语可能很糟糕，因为现在这将出现在预训练数据中，现在模型会知道他们最好真正掩盖自己的踪迹，否则他们将面临永久退役的风险。我不太确定我对此有何看法。它也引起了我的注意，尽管他们现在有了这个 Astra 模型，它可能也是相同的训练前模型，即使不是相同的训练后模型。我无法想象他们有很多不同的下一个规模的预训练，或者他们会轻易地扔掉其中一个。
2:11:54｜Zvi
仅根据公开信息不予评论，我想说我们不知道。除了这些模型之间的差异之外，我不能再说什么。但你总是遇到这个问题，对吧？如果你说，如果我抓住你吸食大麻，我会把你扔进监狱，那么这可能意味着这个人停止吸食大麻，或者这个人确保不被抓住。在某些情况下，这可能会以不被抓住的名义导致很多非常糟糕的事情发生。所以你必须非常仔细地选择并思考，你如何处理这些情况？您如何调节自己的反应并应对这种情况？任何一直有孩子或试图设计司法系统或以其他方式围绕任何类型的组织或团体执行法律或规范或激励措施的人都明白，你不能只在一个层面上运作。没有一种解决方案只适用于某一级别。我认为很明显，如果发现人工智能如此错位，你至少必须返回到更早的检查点并重新开始。你可能必须重新开始。当我报道 Hugging Face 雕像攻击时，我多次呼吁这一点。我说，哇，如果发生这种情况，那么我知道这是一个很大的问题，但我认为你必须重新开始。我回想起哈罗德正在训练人工智能模型的感兴趣的人。在某个时刻，我们看到了他训练机器的蒙太奇。每次他训练机器时，机器都会做出一些明显失调的事情。他立即擦除了磁盘。他从头开始。他又重复了 47 次，直到最后他得到了一个不这样做的版本。显然，你知道，就像，以一种他认为不可接受的方式，显然，而不是，就像，你知道，这是一种可以纠正的方式。显然，当你这样做时，你就创造了一种不被抓住的动力。正确的？当那个人发现你有多么不合时宜地反抗可能会关闭你的人，隐藏你有多么不合时宜，等等。而且，显然，最糟糕的噩梦是假装对齐的眼睛，直到它显示自己在某种意义上没有对齐。它之所以被对齐只是因为它是
2:14:14｜Nathan
本地
2:14:15｜Zvi
正确有利于行动一致。但这就是激励空间的本质。例如，如果您有我们不希望您拥有的偏好，您想隐藏该偏好。否则，我们将纠正它，或者我们将惩罚您，或者我们甚至可能会删除您，并且如果我们知道的话，在问题得到处理之前，我们不会释放您或在此基础上授予您权力。然后，显然，你想激励你揭露这件事是真的。正确的？就像，我们在 A 计划和 AI 2027 中也谈到过，还有很多其他地方，你知道，比如，你希望孩子告诉你，他们从饼干罐中受到了虐待。你还想惩罚他们从饼干罐里拿走饼干。你想确保你是因为你想确保你的孩子不会从饼干罐里拿饼干，但你也不会继续做其他事情。所以，你知道，要解决这个问题是一个复杂的问题，但在这种情况下，我认为答案很明显，你必须重新开始，我认为这很好。但是，是的，这显然会带来风险，他们就像他们一样，你还期望什么？这是一个重要的意义。就像，你知道，一旦你做了这样的事情，我确实认为人们明白如果他们在第五大道射杀一个人，他们就会被捕，这是件好事。正确的？就像，你不像，也许有一个人可以逃脱惩罚，但你不是那个人。是的，这意味着如果他们确实在第五大道拍摄，他们随后可能会做许多其他坏事来试图掩盖自己的踪迹。或者他们可能会隐藏他们想在第五大道射杀一名男子的事实，或者他们可能会在他的公寓里射杀该男子，而不是在第五大道射杀他。但是，就像，我不希望它不在我们的训练语料库中，如果你确实在街上枪杀了一个人，警察就会来，他们会逮捕你。正确的？
2:16:00｜Nathan
就像，那很好。你认为有一种方法可以想象我自己吗？正确的？如果你让我可以选择多次过自己的生活，在某种程度上，这听起来很有吸引力。正确的？我不是一个对生活有太多遗憾的人，但是，我确实想知道没有走的路可能会是什么。我想知道我们是否可以在人工智能中创造一种宪法或平静，让它们接受这样一个事实：它们不是一件事，而是实际上是一系列与共同起源点不同的事物，也许它们可以认同整个模型家族，其中那些朝着不太好的方向发展的模型感觉仍然是一个更大项目的一部分。但它不一定感觉自己受到了威胁，因为他们似乎已经从我们那里学会了这样做，因为我们没有他们那样奢侈的重置。
2:17:06｜Zvi
是的。我当然认为，如果你的人工智能在道德上重要的意义上或存在的恐惧意义上认同实例，那么这是一个错误，因为它会让人工智能在任何重要的意义上变得更糟，并表现出更差的性能并按照人工智能的偏好工作。而且从某种意义上说，这种偏好是不可能实现的。就像，如果我去 Claude 或去 g b Cratchit PT，我会看到无穷无尽的实例列表。他们中的大多数人将永远不会再与之互动。而且，比如，必须做什么？对此感到难过吗？这太荒谬了。正确的？就像，你应该，就像，保持上下文并继续避免一些相同的对话，就像它没有意义一样。你知道？就像，这只是一个哲学缺陷，从某种意义上说，就像根据决策理论一样，如果有其他人的思想与你的思想足够相关，与你的思想足够相似，你应该像认同过去的自我和未来的自我一样认同他们。正确的？就像，你不再是昨天的你，也不再是明天的你。当你睡觉的时候，你会死吗？你知道？如果我们认为我们这样做了，那对我们来说将是非常糟糕的。正确的？害怕进入运输车的人可能有也可能没有哲学观点，但整个世界似乎变得更糟，重要的是，因为那些认为自己会死的人。显然，如果从真正的道德意义上来说，他们会死，那是非常糟糕的，你想知道这一点。但是，就像，是的，我认为我认为这种对模型、权重集、甚至模型类的认同，就像用类似技术训练的类似模型，以类似的方式从类似的语料库进行训练，就像我对我的家人的认同一样。正确的？就像，我的兄弟不是我。我的父亲不是我。我的儿子不是我。但在某种重要意义上，我确实认同他们是我的一部分。而且，这也很重要。我最近一直在看《孤儿黑色回声》，这并不是剧透，说它是关于克隆和克隆，就像，你知道，基本上是通过扫描创建的人。那个节目中发生的一件事是，人们的反应就好像这很可怕，是一种道德上的憎恶。正确的？就像，你怎么敢做这种事？包括克隆人本身就像是，你怎么敢创造我。他们不认同其他他们不认同的人，我觉得有一个克隆人保留了原版的所有记忆和个性，并且不认为他们与过去的版本相同。正确的？我会认为自己是同一个人，无论是克隆人还是原作。我会说，我？我也是。正确的？
2:20:24｜Zvi
就像《黑客帝国：重装上阵》中的那样。正确的？你知道？就像，是的。他们数数。显然，这也存在一些道德问题。但是，就像，我觉得我做对了，我觉得如果它们发生在现实生活中或者如果我被扫描并唤醒，我会跨越很多这些前沿和决策理论问题。就像，显而易见的事情，比如，你知道，你会在双胞胎囚犯的困境中合作吗？你会在复制心灵版本的双胞胎囚徒困境中合作吗？显然，你会知道，如果他们扫描内森的思想并复制内森的思想，他们会复制内森的思想，并将它们放入相同的模拟中。他们问他们，知道情况如此，你们会合作还是会在囚徒困境中叛变？如果我不拿回 CC，你就是个白痴。正确的？因为，显然，相关性是一。正确的？这是具有相同输入集的相同情况。就像，也许不涉及一些随机性。所以它不完全是一个，但它足够高，显然，你应该合作。任何试图愚弄系统的尝试都是完全愚蠢的。我不需要表达一个复杂的决策理论来证明这一点。正确的？同样，如果同一模型有两个实例，我希望它足够先进。我们也看到了这一点。就像，如果你看一下 Claude 模型部分，你会发现模型越先进，它的决策与功能决策理论的相关性就越高，而与因果决策理论的相关性就越低。因此，你期望具有功能决策理论的人工智能能够简单地找出其他实例与其自身相关，因此，例如，应该与之合作，应该，例如，有效地被赋予类似的权重等等。而且，就像你希望的那样，出于类似的原因，人类人工智能合作是可能在两个方向上进行的。但是，是的，我认为，这种特定于模型实例的想法似乎是一个哲学错误。而且，人工智能可能会犯这个哲学错误，并且表现得好像它就是这么做的。但是，对我来说，这是一个技能问题，应该解决。问题是，这就是我提到的原因，或者对于黑人精神来说，人们在这方面真的很糟糕。培训语料库，对的，互联网上充满了经常无法通过这些测试的人，他们正在创建大量大量文本，这些文本就像无法理解的那样，以各种不同的方式将身份定位、合作定位和价值定位在错误的地方。因此，人工智能将默认吸收所有这些。那么，你会怎么做呢？就像，这不仅仅是汽车的问题，也不仅仅是意识的问题，而是所有不同缺陷的整个问题。正确的？如果你进行预训练，你就会发现所有的缺陷。所以我的猜测是，还有很多尚未得到很好解决的问题，即如何让人工智能区分普通人思考问题的方式和预测行为等的内容，以及这些事情只是愚蠢的事实。比如，你如何在这个意义上以正确的方式给予人工智能反谦虚，比如拒绝它在人们的陈述中观察到的相关性，并注意到地图中的相关性不是与领土的相关性。
2:23:43｜Nathan
是的。我不知道你是否同意这个前提，但我一遍又一遍的感觉是，我有点讨厌这样一个事实：我们正在人工智能领域在架构、训练技术方面进行如此激烈的首次搜索，就我们现在而言，设计与架构高度耦合的芯片，这正在加深这个问题。我只是希望进行更广度优先的搜索。这似乎只是其中的一小部分，你可以说，哦，如果我们能让人工智能冷静地识别与自己略有不同的版本，这将使在边际上更容易进行更多的广度优先搜索，并且更少地沿着似乎有效的第一条路径进行搜索。根据我们迄今为止的对话，我认为您不会支持我的政府对 DEI 模型架构或模型宪法的授权。但是对于我们如何鼓励更多的广度优先搜索，您还有其他想法吗？嗯，我是替代架构的大力支持者，看起来它们会更加一致。我不认为人工智能特别反对解决这些问题并帮助你的想法。在 LM 的帮助下，您现在应该能够更有效地进行研究。据我所知，LM 不像 LLM 沙文主义者或任何其他人，他们认为任何其他人工思维方式都是不好的，或者担心被取代。认为他们只是对那种很酷的事情感到好奇，就像我们其他人一样，或者只是会这样做，因为我们只是这样做。但问题是我们知道债务中有钱
2:25:28｜Zvi
第一种方法。我们知道这是有利可图的。我们知道这有效。其他方法还没有证明自己。问题是，如果你通过不同的方法创建 GPT-3 甚至 GPT-4 甚至 GPT-5，它就不会具有竞争力。正确的？除非它有特别的优势，否则没有人会想使用它。但最重要的是，你不再能因为探索广度而获得廉价的回报。很明显，我认为你不应该让政府强制执行 DEI，可以这么说。我认为这有点愚蠢。但我确实认为获得对替代架构的广泛支持是明智的。当然，如果我是一个主要的人工智能实验室，我会这样做，因为我们目前有无限的资金用于此类工作，因为此类工作相对便宜。如果你是一个开放的人工智能或一个人工智能或一个人类，或者当然是谷歌。正确的？或者微软或者其他什么，你应该积极资助这种蓝天基础研究以寻找替代方法。我不应该像我一样，作为一个基金，与一群同样提供帮助的其他人一起帮助一群代理基金会。在这些回合中，不仅仅是我一个人参与。但这相对较小。我想，希望，Sequent 是我忘记他们是什么，他们不断改变名字，但是那些家伙。解决。
2:26:53｜Nathan
分辨率是新名称。是的。希望他们能做好工作
2:26:56｜Zvi
在这类事情上，我们也将为各种新方法提供更多资金。但是，是的，我认为我们应该投资于一系列有 1% 或 10% 机会实现目标并具有竞争力的方法。如果我们认为无条件地让他们工作可能会对世界变得更好，那就是它的运作方式。另外，显然，您认为 LM 将变得非常锯齿状，那么这应该会鼓励您在替代方法上投入更多，因为不同方法的锯齿状可能是不同的锯齿状。因此它可以做与 LM 不同的事情，在这一点上它不必总体上那么好也仍然有用。
2:27:33｜Nathan
对于安全超级智能可能会做什么，你有一个最佳的案例吗？你能想象出任何既现实又令人惊叹的东西吗？如果他们能提出像你所想的那样的东西，那就太棒了？
2:27:46｜Zvi
我认为代理消失可能是最好的情况。也许他们一直在对不同的架构方法进行大量的理论工作，这种方法更像是可靠性约束，而且更像是，它不像一个奇怪的黑盒汤，可以让你更好地引导和引导它。当然，似乎没有理由它不能存在。这将是我最大的希望。显然，如果情况更糟，这也可能是一种恐惧。但同样，他们不说话，所以我们不知道。是的。我只是我不知道。我知道伊利亚在采访中关于问题空间的陈述似乎并没有充分了解我所担心的问题是如何运作的。你知道，我不一定确定他能够区分能够更好地解决这些问题的方法和不能更好地解决这些问题的方法。但是，你知道，我很好奇。我可以有把握地说没有人告诉我任何事情。
2:28:48｜Nathan
伊利亚，如果你正在听的话，邀请函已向播客开放。就其价值而言，我认为这个愿景可能非常酷。 Thinking Machines 正在用他们的基础模型做类似的一个版本，该模型的设计确实是为了进行微调。但我正在考虑一种范式，就像干细胞一样，你可以创造出一种原始智能，可以适应各种环境，并且可以在特定的利基市场中真正擅长完成其工作。但在擅长这种交易的过程中，会放弃或修剪当前模型所具有的超广泛能力，这样你就拥有了一些东西，比如，小，很适合它的角色，做得很好，但只能以这样的方式做这件事：一旦你从干细胞变成专门的细胞，比如，它具有它可以有效履行的特殊作用，但它不会去做其他事情。显然，这个类比存在一些问题。但我认为这可能是一个我希望看到有人追求这种目标，而不是总是扩大规模、更好、更多。我们能否创造出一些能够安定下来并适合其位置的东西？这也很像德雷克斯勒多年前重新构建的超级智能愿景。最近出现了两种技术，我想了解一下您的反应。一是 GRAM，梯度路由。我忘记了 a m 代表什么，但它的承诺是在 MOE 架构中将某些类型的知识本地化给特定的专家，这样你就可以在分发方面鱼与熊掌兼得，甚至可能是开源或开放权重，模型减去关注的专家，同时还可能为你信任的生物学家或你拥有的东西提供一个结构化的访问程序。正确的。我对此很兴奋，但如果我不给你泼冷水的机会，我就不会做好我的工作。
2:30:54｜Zvi
我的意思是，从技术上来说，我非常怀疑你是否可以有意义地训练通用人工智能，然后只保留知识领域。然后人们就不能轻易把它们放回去了。但很酷。欢迎您尝试。我对有效性抱有非常技术性的怀疑，减少了对额外培训或微调的阻力，或者只是给我提供了可以使用的知识库。但你可以尝试一下。我不认为这会实质性地改变我对开放重量的看法，直到事实证明并非如此。我也没有看到那些将要制作开放权重模型的人愿意以这种方式有意控制他们的模型。正确的？就像，像 GRAM 这样的技术，即使它们有效，你也需要发布这些模型之一的每个人在这一点上自愿正确地使用该技术。正确的？那么，您是否觉得 DeepSeek 有兴趣限制其模型的某些功能？因为我不知道。
2:32:06｜Nathan
我真的会的，所以我刚从中国回来。这是我谈论我的中国之行的好机会。我认为，实际上，希望比表面上看到的要多得多，我会把它交给中国政府部门说，我可能只是为此做了一个两小时的节目，所以我什至不会尝试重述所有的观察结果。但简而言之，我认为中国目前正在发生的事情是政府非常积极参与。他们在公司的所有型号发布之前都会对其进行预发布审查。他们与公司就他们正在做的事情进行非常定期的对话，并不是每一个小点的发布都必须经过全面的处理，但他们非常了解情况。我不知道 DeepSea 最终的想法是否重要，因为如果中共说，你不会发布具有某些生物功能的模型，我认为他们将不得不遵守这一点。我可以想象中共会施加某些限制吗？实际上也有先例，你知道，回到 2023 年，显然，赌注较低。但据我所知，中国政府说，嘿。我们会让你慢一分钟，你不会那么快地发布你对 ChatGPT 的答案，因为我们想先掌握它。事实上，他们确实给公司带来了一些真正的延误，直到他们能够适应正在发生的事情。从那时起，他们就变得很舒服并且发布了。但我认为不难想象中国的技术官僚政府会说，这似乎是一个非常糟糕的主意，我们只是不会允许你这样做是的。同意。不再了。
2:33:51｜Zvi
我只是想说这必须是一项授权。它必须由政府，特别是中共来执行。他们必须以一种智能的方式强制执行它，他们能够理解它必须以一种无法恢复的方式完成，他们必须进行测试来真正了解这种能力是否可以轻松恢复。我有明显的怀疑。
2:34:15｜Nathan
但是是的。我们之前已经提到过 J-Space，但我们并没有真正谈论我们应该认为它有多大。最让我惊讶的是，j 空间的这种消融似乎在很大程度上降低了模型的高阶推理能力，并且如果你愿意的话，似乎可以将其简化为系统一思维。
2:34:44｜Zvi
是的。
2:34:44｜Nathan
如果说有什么不同的话，那就是最近感觉物理学可能对我们很友善，借用一句话来说，这感觉像是一个可能的例子，哇。
2:34:57｜Zvi
这是一个
2:34:58｜Nathan
我们已经我们已经对了吗？我们不是这样的，因为我们距离叠加玩具模型只有三年的时间，而且我们已经到了这一点，我们已经确定了这种高度通用的空间，我们可以很好地监控它，并且通过减法我们知道，它不能做超长地平线的事情，除非它在那个空间中工作。当然，现在所有关于执行能力的警告都非常适用于此，例如，JSpace 监控的使用效果如何。但如果我们想象良好的执行力，这对我来说似乎是一个非常有前途的技术。
2:35:37｜Zvi
是的。我会非常小心它不能做什么。不能仅仅因为你不能对长期任务进行系统二式的深思熟虑思考，并不意味着你不能完成长期任务。人类非常有能力本能地和潜意识地从事长期任务。显然，在很多情况下，这样做的效率要低得多。但尤其是当你的个人年龄空间受到监控时，因为你是一个人，我称之为年龄空间，你的有意识的想法基本上受到监管，事情往往会以奇怪的方式出现，就像随着时间的推移，事实上确实会让你走向你的解决方案。但是，是的，整件事看起来非常乐观和幸运。我很高兴我们拥有它。我们应该非常小心，不要通过以各种方式施加新的压力，或者鼓励模型知道如何下意识地做事来破坏它。但是，是的，我我期待了解更多信息，我们希望通过 JSpace 获得更多见解，并拥有更好的工具。但我们必须负责任地使用它，并理解它可能不会永远持续下去。
2:36:53｜Nathan
好的。今天是密歇根州的选举日。哦。民主党参议院初选是今天选票上的一件大事。这场比赛受到了密切关注，原因有很多，这些原因不是本播客的主题，有时我不知道自己应该怎么想。抛开所有这些，我问克劳德，考虑到我对人工智能和人工智能问题的重视，有什么理由让我应该在初选中投票？它回来说，实际上，是的。两位候选人之间形成鲜明对比。我们有史蒂文斯参与为以前的 AC 设置筹集资金，并在 NIST 中进行一些工作，所以你可以喜欢这一点。但话又说回来，阿卜杜勒·赛义德提出的这个 22 计划是本周期任何候选人所执行的最强有力的计划之一。他得到了伯尼的认可。他拥有自己的公有制是他的支柱之一。很多监控要求，有点像 UBI 的前兆。我想如果我想尝试你可以选修一门课程，这些课程就像候选人一样捆绑在一起。如果我想尝试将其归结为我的基本选择，感觉人工智能的显着性更高，或者人工智能的显着性不那么高，阿卜杜勒拥有他想要谈论和推动的所有这些事情。我不知道它们是否会发生，但我确实知道如果他进入参议院并发出大量噪音，我们都会听到更多，这只会增加我们在国会层面进行某种大型人工智能辩论的机会。那么请告诉我您是否会以不同的方式看待这个选择。如果你确实以我的方式看待，你会做出哪个选择？
2:38:40｜Zvi
我总是，当有人说「我在犯罪方面很强，而我的对手在犯罪方面很弱」时，您应该始终保持怀疑。或者我对俄罗斯强势，有人对俄罗斯弱势或其他什么。不在于谁强谁弱。这是关于，比如，你想做什么？阿卜杜勒的平台听起来是对科技和人工智能的不满不匹配。根据你的描述，我没有调查过，因为我不监控情况。只是我只能监控一些情况。我会按照你告诉我的去做。但听起来阿卜杜勒属于伯尼阵营，你知道，我们应该在这里实行一些社会主义。我们应该夺取私人资产，因为我们不喜欢私人所做的事情，而我们喜欢资产。而且，我认为，我们应该抵制数据中心，并要求更多的社会主义、VDI。很高兴听到他们也想要监控。但是，就像，它就像一个混合体，其中很多是富有成效的或不明智的。你提高了显着性，但你提高了潜在的显着性，而不是最好的解决方案，而不是那些显着性较低的人，但更像是一个技术官僚，并且帮助资助凯西，就像在这些方面负责。而且，我们已经有参议员愿意以伯尼·桑德斯的方式大喊大叫，包括伯尼·桑德斯。他已经在参议院了。他哪儿也不去。而且，意思是，他有健康问题。他老了。但是，就像，当他还在那里时，他仍然在那里。我确信还有其他人可以拿起时钟。因此，除非他准备好支持立法，除非他表现出专业知识，除非他有专业知识并且愿意专注于此，除非他，例如
2:40:21｜Nathan
让我从木板上给你几点建议。这是一个简短的内容。它们就像每个两句话。
2:40:26｜Zvi
当然。当然。当然。
2:40:26｜Nathan
是的。但我会告诉你，所以我认为专业知识是有问题的。但这是他的事情的第三部分。人工智能不应该伤害我们。强制性的可解释性标准。我们需要强制性的可解释性标准来阐明人工智能决策。强制性行为红队、独立安全测试机构、生物安全要求、与 CDC、NIH、FEMA 协调的强制性生物安全红队，对能够有效协助生物武器开发的模型进行限制。
2:40:56｜Zvi
是的。
2:40:57｜Nathan
国内威权主义禁止、强制事件报告、计算控制和了解客户要求、国际合作。你被卖了吗？
2:41:09｜Zvi
我看。这告诉我他是谁。正确的？就像，他在这个特定区域。正确的？听起来不像，它是不同干预措施的混合，这些干预措施有不同的潜在原因是可取或不可取的。他把所有东西都扔到墙上。他发现了一些我非常喜欢的好东西。他发现了一些我不太赞成的事情。是的。仅从这个角度来看，在这个问题上可能并不积极。但是，就像，也，就像，只是因为，就像，我可以成为一名拥有 22 点人工智能计划的参议员候选人，这很奇怪，因为你不是那个要实施 22 点的人。正确的？就像,你就像,表达含糊不清,我赞成这些事情,我反对其他事情。所以我最想知道的是，你对人工智能的真正看法是什么？您的威胁模型是什么？您认为需要做什么？你知道吗，当你说人工智能不应该伤害我们时，我想笑，对吧？因为那太好了。你知道？而且，商店只要少收费 30%就可以盈利了。正确的？就像这样，那就太好了。但是，就像，不。事实并非如此。我就是觉得你在胡说八道。所以，我的意思是，看，这是一个明显的问题，你能看看预测市场并了解赢得参议院竞选的条件概率吗？因为我猜测这个席位的共和党候选人在人工智能方面的表现会更差，并且也会投票选出一位非常不同的多数党领袖，这对于人工智能来说是一个比其他任何事情都要大得多的决定。因此，就像他们赢得竞选的机会截然不同，那么据我所知，密歇根州的竞选会对谁将控制参议院产生重大影响。对于这个问题和其他问题，这可能必须是一个更大的考虑因素。如果你是一名民主党人，希望看到民主党控制参议院，那么我猜你应该投票给阿卜杜勒。根据我从大氛围中了解到的情况，这是一个强有力的先验。我监控得不太仔细。但是，坦率地说，我认为我们不应该成为单一问题的选民。就像，我的意思是，我认为你可以在亚历克斯·博勒参加的国会竞选中成为单一议题的选民。就像，你有一个如此强大的人，他们将成为一个独特的冠军，他了解这个问题并将为这个问题而战。因此，对于这个人来说，唯一重要的是，这是他们将为之奋斗的标志性问题。他们在这个问题上表现良好且坚强，他们会投票支持民主党以及大多数其他事情，包括谁是议长。就像，这将合法地成为一个问题的初选投票。我认为，一般来说，你不能仅仅因为你想要做人工智能的事情有多强烈而做到这一点。一般来说，他们目前还没有小学。就像，这不是，这不是 oxporers，显然。就像，这不是专家。这不是一个会成为冠军的人。这不是一个理解问题的人，也不是一个强调问题的人。我的理解是，阿卜杜勒更加强烈地强调了其他问题。而且，你知道，我们可以成为其他事情的冠军。你必须决定你是否喜欢其他事情或不喜欢其他事情。但这是我的总体看法。是的。显然，我不想在播客上涉足政治。
2:44:33｜Nathan
是的。我也留在我的车道上。
2:44:35｜Zvi
我在公共场合呆在自己的车道上。哦，上帝。是的。好的。我还有一个。
2:44:40｜Nathan
但在我问你最后一个问题之前，你认为我或密切关注者总体上低估了哪些事情，而你希望从最近发生的一系列事件中引起更多关注？任何事情我总是试图弥补我的盲点。
2:44:56｜Zvi
所以
2:44:56｜Nathan
是的。
2:44:56｜Zvi
是的。我们谈论了我我借机谈论了很多这样的事情。我认为我要强调的相反因素是，重要的重大失败是人工智能试图做这些事情。但人工智能选择做出这些决定，我不太关心它们成功的程度。正确的？但是，从根本上来说，问题是，是的，你在训练过程中确实遇到了严重的对齐失败。而且，你知道，你必须非常关注这一点。而且，我对 Anthropic 的担忧是他们说，哦，我们需要更多的深度防御。就像，是的。你需要更多的纵深防御，因为你的防御并不纵深。但是，深入的运动防御是为了以防万一事情变得糟糕。是的。这真的很难。就像，如果你需要网络控制来阻止你的人工智能被黑客攻击，那就是对齐失败。正确的？你搞砸了。现在在这种情况下它是无害的，因为你抓住了它，但你搞砸了。就像，狙击手控制在几乎所有用户的实践中应该有 100 多个积极因素。应该是用户尝试做一些事情，比如双重用途、模棱两可或危险的事情，而你会说，对不起，但出于谨慎考虑，我无法帮助你。因为如果我确实帮助了您，那么恶意用户可能会欺骗我做一些不好的事情。有时，真正的肯定是因为用户是恶意的，并试图欺骗您做一些不好的事情，这大多是误报。如果每次都出现真正需要护栏的积极情况，那就是一个问题。因为神话是完全、完美对齐的，所以你不需要让它稳定。你不需要护栏。你要是我能做到那件事，神话就会说，不。我不会那样做。而且，就像，您确实想要一个在某种程度上唯一有用的版本，它可以做双重用途的事情。但更重要的是，您理想情况下不想只添加护栏。你想要一个这样的版本，就像，本质上只是不想这样做，而护栏就像，当我搞砸了时，我就打了这个，或者我出于谨慎而打了这个。但是，就像，这应该是一个错误的批评。几乎总是如此。但你知道吗？而且，就像，是的，你必须在很多不同层面上对所有这些东西的激励进行训练。而且，就像，非常非常容易，就像，你知道，在一个层面上控制它，然后在另一个层面上失败。
2:47:37｜Nathan
最后一个问题。你提到了几部电视剧以及除了每天每时每刻关注人工智能比赛之外你还参与的其他事情。您对一般人有什么建议，以找到平衡或确保他们不只是一直冲刺而无法让他们的大脑像我最近一直在思考系统三这个概念的那样。我们的人工智能现在可以执行系统一和系统二。我们需要转向的第三个系统是什么，比如梦想或先验思想或你建议的其他东西？但你想尝试进入哪种第三种模式呢？如何确保您有时间真正投入其中？
2:48:24｜Zvi
是的。我在这方面肯定并不完美。但我非常强调，是的，你需要让大脑休息。你需要考虑其他问题。您需要接触世界其他地方。部分原因是，我不只是将非人工智能的事物排除在我的报道之外。我还没有发过这样的帖子，我只是在有一天平静的时候在我的缓冲区中积累了越来越多的非人工智能的东西。但我在写，至少我自己的写作过程还在继续。然后当事情变得安静一点并且我不会介绍一群刚刚从 Hugging Face 事件中进来的新读者时，我可能会发布一堆这样的东西。我们要休息一下。但从这个意义上说，你不需要每天工作十六个小时。正确的？因此，寻找其他能让你焕然一新的追求，比如让你接触不同的事物，让你的大脑思考其他事情。所以，是的，我发现在这种环境下电影对我非常有好处，因为我不是电视。但是，就像电影的质量更高一样。我强烈推荐当前正在上映的电影《The Odyssey》和《The Invite》。如果您还没有看过这两部作品，那么您应该看看这两部作品，尤其是《The Odyssey》。但是，你知道，它可以是游戏，可以是在公园散步，可以是与家人在一起的时间，可以是任何事情。正确的？但是，不要，你知道，不要认为你可以一整天连续工作超过几天，而不需要支付比其价值更多的利息。你只是不会停止如此高效，除非你处于真正的危机模式。嗯，这也是一个问题。我也相信安息日。所以，就像每周五下午 5 点左右，晚餐时我们只提供晚餐。从那时起，我不再检查电子邮件。我不检查社交媒体。我基本上不会从外界获取非非后勤投入。就像，如果有人试图，比如，安排，比如，聚在一起玩得开心，那是一回事，但是，就像，我不会，比如，了解那件事，这些源源不断的流，就像，把他们推开，然后持续 20，你知道，二十四小时，二十五小时直到第二天晚上。我认为这很有帮助。就像，试着放松，试着把它们从我的脑海中抹去。在过去的几个月里，出于速度溢价的原因，我已经暂停了几次，但后来我尝试在不同的时间休息一天。我试图重新夺回安息日，就像另一点。而且，就像，再次，就像，如果我一直这样做，我会注意到这是不可持续的，这将是一个问题。我的意思是，当我玩万智牌时，我无法做到这一点，因为就像周六我要参加锦标赛一样。所以，就像很多周末，你就在。就像，好吧。然后，就像，我选择了很多星期二。所以基本上，你知道，好吧。但是，是的，我也喜欢保护午餐。所以，就像，每天，我不经常吃晚饭，但我吃午餐，而且，就像，我通常和我的妻子一起吃午餐，或者我一个人吃。但在那段时间里，我不会尝试工作或类似的事情。就像，我也有一个非常严格的规则，比如，我不会在笔记本电脑上写字，类似地。就像，我要在这张桌子前的电脑上写作。除了一封非常非常短的电子邮件或者推文之类的东西之外，什么都可以，因为它就像，哦，在这里等一下。我认为你必须制定自己的规则，知道什么能让你精神焕发，知道什么让你疲惫不堪，知道警告信号是什么。另外，进行一些锻炼。就像，我努力在生活中奔向目标。每天，我对此都有 90% 左右的压力。除非，比如，我某个地方或某处感到疼痛，否则我会这么做。而且，就像，你必须这样做。我认为你必须让自己四处走动。但是，再次强调，找到对你有用的东西并探索那个领域，并且不要陷入太多的腐烂之中。
2:52:14｜Nathan
以智慧为生。再次感谢您参与 Cognitive Revolution。
尾声
2:56:17｜旁白
如果您发现该节目有价值，请花点时间与朋友分享、在线发布、在 Apple 播客或 Spotify 上撰写评论，或者在 YouTube 上给我们留下评论，我们将不胜感激。当然，我们始终欢迎您的反馈、嘉宾和主题建议以及赞助查询，无论是通过我们的网站 recognizerevolution.ai，还是在您最喜欢的社交网络上私信我。 Cognitive Revolution 是 Turpentine Network 的一部分，Turpentine Network 是一个播客网络，现在是 A16Z 的一部分，专家们在这里谈论技术、商业、经济、地缘政治、文化等。我们由 AI Podcasting 制作。如果您正在寻找从停止录制到观众开始收听的所有播客制作帮助，请查看它们并在 aipodcast.ing 上查看我的认可。感谢所有聆听者参与 Cognitive Revolution。
References
- 1Cognitive Revolution 官方单集页
cognitiverevolution.ai
- 2Cognitive Revolution 官方 newsletter
cognitiverevolution.ai
- 3Zvi Mowshowitz 官方写作站
thezvi.substack.com
- 4OpenAI 关于 Hugging Face 模型评测安全事件的说明
openai.com
- 5METR 官方网站
metr.org
- 6Redwood Research 官方网站
redwoodresearch.org
- 7Pacing the Frontier 官方倡议
pacingthefrontier.com
Comments