本期速览
Goodfire CTO Dan Balsam 在 Cognitive Revolution 介绍 Silico：一款从 Goodfire 内部研究工具发展而来的长周期、代理式机器学习研究平台。它把模型可解释性、实验运行、计算资源和结果溯源放进同一条工作流，公开价格为每个席位每月 1000 美元。1
这期最重要的连接有两条：第一，模型里的概念不是一串互相独立的标签，而是有形状、有关系的低维结构；第二，真正高阶的 AI 研究产品，卖的不是一次聊天，而是能持续运行实验、检查中间证据、允许人类追问的研究过程。
一句话带走： 理解模型的内部几何，最终不是为了画出漂亮的图，而是为了更准确地干预训练、识别风险，并让 AI 研究代理在可控边界内替人跑长周期实验。
按节目顺序整理
1. 后训练更像放大已有能力
节目从「预测性数据调试」开始。核心方法是：把准备进入后训练或微调的数据送入可解释性工具，观察哪些概念频繁激活，再检查这些概念是否正是训练过程会修改的部分。如果某个数据集意外激活了不希望改变的特征，研究者可以继续追溯到具体数据点，决定过滤、修改数据，或在训练中直接施加干预。1
Dan 的解释是，模型的大部分知识和能力通常在预训练阶段已经形成。后训练，尤其是传统 RLHF，更像是把预训练中概率较低的行为变得更容易发生，并把一个能力很强但难以使用的基础模型整理成更符合人类直觉的接口。这个判断仍有争议，且在强化学习规模越来越大的今天可能不再完全成立，但它解释了为什么训练前先看模型在「想」什么，会有预测价值。
Goodfire 比较了两种缓解手段：数据过滤与奖励塑形。前者删掉会带来偏移的数据，后者在模型学到某个不希望强化的特征时施加惩罚。两者可能是同一问题的两种入口，并不意味着干预没有副作用。对 DPO 或真正的强化学习来说，若某条 rollout 携带了不希望模型学到的信息，能够直接丢弃或在训练过程中阻止某个回路被推高，会比事后猜测模型为何改变更有用。
2. 概念流形比概念清单更接近模型的思维结构
Nathan 将早期的线性表征假说概括为：一个概念可以被解码成激活空间中的方向，向量大小代表概念强度。Dan 认为，更准确的图景不是每个概念占据一个孤立方向，而是多个特征在稀疏子空间中交叉，概念之间的排列关系本身才是模型能力的一部分。1
节目用多个例子建立直觉：星期几可以组织成圆环；情感可以沿着效价和唤醒度形成环状结构；只用原始化学数据训练、没有被明确告知元素周期表的模型，也能恢复出周期表的一部分结构；蛋白质模型里可以找到与 beta 螺旋桨叶片数量相关的流形；Evo 2 这样的生命模型能够呈现类似生命之树的结构。它们共同说明，模型不只是记住「星期一」或「氧元素」这些点，还在学习这些对象如何相邻、组合、旋转和变化。
Dan 的类比是：理解元素周期表和理解化学之间，可能就像只知道单个元素与理解它们如何结合、形成结构之间的差别。模型内部的几何关系，提供了比概念列表更强的世界结构线索。
3. 操控模型时，要沿着流形移动
如果研究者只在两个概念向量之间做线性插值，直线可能穿过一个不属于任何语义状态的区域。以星期几为例，圆心并不代表某一天；沿着圆环移动，才更像是在模型已经学到的语义结构内做操控。Dan 将这种方式称为 on-manifold steering，也就是沿流形引导。1
这件事的意义不止是让可视化更漂亮。沿流形改变蛋白质属性、情感状态或其他高层概念，可能比把激活硬推向一个分布外位置更不容易破坏模型的其他能力。它也把「找到一个方向并加减向量」的干预观，推进到「理解整个可行结构，再在结构内操作」。
4. 可解释性从拆解走向重构
Goodfire 的研究路线大致可以看成四步：先把模型分解成可理解的组件；再通过局部干预验证某个组件是否具有因果作用；接着研究如何对这些组件进行重构；最后把理解用于训练出更干净、更符合目标的模型。对一个复杂的旧代码库做局部修补，可以帮助定位错误，但不等于已经完成了系统重构。1
围绕 BlackSparse Featurizer、参数分解和残差流，Dan 反复强调一个边界：操控成功是因果证据，却不是通用解。研究者还要证明替代表示的性能、干扰和可扩展性，才能把它放到生产模型里。更大的模型为什么更强、稀疏 MoE 为什么有效，也可能与更大的表示空间、更少的特征干扰，以及稀有任务的保留有关。
5. Silico 把研究抽象层级往上推
Silico 最初是 Goodfire 团队用来加速自身研究的内部平台。现在它向外部开放，目标是让 AI 去调试其他 AI：研究者提出一个更大的问题，代理负责拆解问题、调用工具、编写和运行实验、积累证据，并把中间过程和代码留下来供人检查。1
Dan 认为，研究者的工作会从亲手执行每个步骤，转向提出问题、选择实验、判断结果和编排代理。一个好的系统必须支持不同抽象层级之间的钻取：既能给出结论，也能回到代码、数据、激活和实验记录，检查结论究竟是怎么来的。Silico 的价值因此来自长周期任务，而不是把聊天窗口换成另一种界面。
6. 价格、额度与用户边界
Silico 的公开价格是每个席位每月 1000 美元。额度放在同一个信用池里，可换算成 token 或 GPU 使用量；按当前规模，Dan 估计每周大约能运行 5 到 10 个自主实验，产品目标是逐步提高到每周 10 到 20 个。没有自己的集群时，用户可以用额度兑换计算；如果接入自己的算力，Goodfire 不再收取那部分计算费用。1
这不是面向所有人的低价聊天订阅，而是面向研究者和机构的实验能力。企业客户仍可获得 Goodfire 团队的部署与合作支持；个人研究者、学者，以及 AI 安全和生命科学方向的研究者，则可以申请研究资助或更长的访问周期。资助与优惠是节目中 Dan 对外表达的计划，具体名额和审核标准仍需向 Goodfire 确认。
7. 开放权重的净正面，不等于没有代价
Dan 对开放权重的总体判断仍然偏正面：如果前沿防御能力只存在于少数封闭实验室，很多创业公司和研究团队连防御工具都拿不到；开放模型能够让更多人研究、复现和修复问题。但开放也会降低恶意使用的门槛，且模型一旦跨过边界，发布者在本地的撤回能力不一定能消除其他地区的生物或网络风险。1
Silico 当前不提供开放模型，只接入 OpenAI 和 Anthropic 的模型，并在平台上增加自己的安全层。Dan 提到的工具包括语言模型裁判、激活监控和其他 guardrail，但他没有把任何单一技术描述成完整方案。防护的关键在于能力规模、任务类型、实验时长和下游影响必须一起判断。
8. 越狱、训练和生物风险
Dan 把越狱看成模型状态被一串 token 带离原有流形，或被带回某个原本被压低的区域。这个视角让 probe、分类器和激活监控有了更明确的作用：它们不只是在输出端拦截词语，也可以观察模型内部是否正在进入某类危险状态。1
但他并不认为监控可以取代训练研究。粗暴地让多个代理共享优化目标和奖励信号，可能产生人类很难觉察的协同行为；在没有测量模型变化之前，也不应让高能力代理长时间盲跑。另一方面，训练塑形无法被一纸宽泛禁令全面替代。冻结权重的模型可以更多依赖监控，持续学习的模型则最终仍需控制训练过程。
Dan 对 AI 促成未来疫情或其他生物灾难「相当担心」，也签署过呼吁国际合作、放慢前沿竞速的公开信。他没有给出一个能同时消除所有风险的选项，而是把问题落回经验研究、分层防护和对具体应用的审查。
9. 关于 AI 意识，保留不确定性
节目最后谈到 Claude 是否有意识。Dan 的直觉是「大概有一点」，并用水母和老鼠之间的位置作玩笑式比喻；Nathan 则说，自己对模型具备某种主观体验的概率判断，已经从低于 5% 逐渐接近五五开。两人都没有把这个数字当成结论，而是强调意识可能是连续谱，潜在下行风险又要求研究者保留知识上的谦逊。1
对读者来说，这期真正可复用的工作姿势不是接受某个意识概率，而是把未知当作未知来研究：先让内部结构可观察，再让干预可验证；先让代理留下证据，再让人类决定是否相信它。
开场说明
[00:00] 欢迎回到《认知革命》！
今天我邀请到的是 Dan Balsam，机械可解释性初创公司 Goodfire 的首席技术官。
这次对话的契机，是 Silico 上线。它是一款面向长周期、代理式机器学习研究的平台，最初是 Goodfire 的内部工具。它希望把 Goodfire 来之不易的专业能力开放出来，包括 GPU 集群管理、研究品味，以及各种实验、可视化和验证技术。
企业客户的价格是每个席位每月 1000 美元。这个价格并不便宜，但 Goodfire 的高接触度研究服务由前沿部署的研究工程师负责，费用很容易达到七位数，所以 Silico 的价格低了两个数量级。与公司的公益章程和以安全为核心的使命一致，Goodfire 很快还会为安全与对齐研究者提供特别价格和研究资助，我本人肯定会申请。
当然，我们谈的不只是这个平台，而是先从 Goodfire 最近的研究进展开始。
我们讨论了他们的「预测性数据调试」工作。这项方法利用可解释性技术，识别网络更新可能影响的概念，从而在异常变成令人不快的意外之前，提前发现并处理它们。
我们深入聊到 Goodfire 一系列关于大语言模型如何表示高级概念的论文。这些几何结构复杂，而且常常非常漂亮。话题包括：如何把它看成「线性表征假说」的演进；他们如何利用更深的理解改进模型操控；以及他们如何找到元素周期表和生命之树这类高级概念的空间表征。
在这过程中，Dan 还谈到了几个关键问题：
- 开源模型对于避免危险的权力集中为何重要；
- 他有多担心 AI 会促成未来的疫情或其他生物灾难；
- Goodfire 正在采取哪些措施，防止平台被滥用；
- 他为什么签署最近那封「放慢前沿竞速」的公开信，以及他认为 AI 研究社区理想的下一步应该是什么；
- 他为什么对监控技术相当乐观，却仍然认为我们最终只能有意识地设计方法，控制模型在训练过程中学到的东西；
- 哪些训练技术有足够高的概率带来问题，应该被避免。
他还分享了 Silico 目前最喜欢的一些用例，直接澄清了网上关于 Goodfire 隐藏研究议程的传闻，明确表示并不存在这样的议程。他也让我们看见 Goodfire 研究员最近午餐时在讨论什么。考虑到他们近期的研究，话题自然落到了 AI 福利和意识的谜团上。
希望你喜欢这场关于 AI 思维形状，以及 Goodfire 联合创始人兼首席技术官 Dan Balsam 推出的高度自主机器学习研究平台 Silico 的教育性对话。
主节目
[03:22] Nathan Labenz：Goodfire 的首席技术官 Dan Balsam，欢迎回到《认知革命》。
[03:27] Dan Balsam：谢谢你邀请我。
[03:29] Nathan Labenz：我很期待这期节目。你们一如既往地高产，我们也有很多内容要聊：研究，还有一款新的产品，它本来是内部研究平台。现在的节奏真的非常快。先问问你，在如今这场永不停歇的 AI 长跑里，你还好吗？
[03:48] Dan Balsam：我觉得 Goodfire 有一支非常出色的团队。这里的每个人都真的相信公司的使命，也都在非常努力地工作，这总是特别能激励人。为了让 Silico 上线，我们最近一直在全力推进。现在产品终于发布了，我可以松一口气。不过，接下来还会有更多有意思的事情。好，我们先从一些研究开始。我每次回头想起……
[04:14] Nathan Labenz：从「叠加态」玩具模型算起，现在也就过去三年左右，对吧？可我们已经走了这么远。Goodfire 博客上有几件事让我特别想聊聊，不过今天只能讲得比较概括，因为内容太多了。过去我们还会逐篇论文深挖，今天恐怕得更浅一些。其中一篇引起了不少反响，叫「预测性数据调试」。嗯。我想先说说我对它的理解，然后让你补充，或者告诉我它在哪些地方尤其有用，以及论文发布后你们看到了什么。
我的概括是：如果你有办法解释一个模型，比如 NSAE，或者我们稍后会讲到的 featurizer，那么你可以把一批数据送进去。假设你正在准备后训练数据集，你就能观察这批数据通过模型时，哪些概念经常被激活。
这里最重要的洞察是，被激活的概念，与训练过程正在修改的概念之间存在很强的相关性。
大家可以先把这件事记下来。它并不令人震惊，但这种关系非常强，确实值得记住。
当你发现这些概念被激活，并知道它们可能会被修改时，就可以进一步检查：这里面有没有哪些概念让我们觉得奇怪、意外，或者我们根本没打算用手头的数据去碰它们？
如果有，你就能迅速缩小范围，找到究竟是哪些数据点让这些特征浮现出来。然后你可能会发现，数据集中确实有一些内容需要再想一想：也许应该过滤，也许应该修改。
这给了我们一条路径，希望能减少后训练或微调工作中不想要的行为意外。我的理解对吗？还有哪些东西是
[06:17] Dan Balsam：不，我觉得这个概括基本对。我认为这里有一个很重要的直觉，而且它可能是我们很多工作的共同主题：有大量证据表明，模型知道的大部分东西，也就是它的大部分知识和能力，来自预训练。
后训练，包括强化学习，主要是在提高预训练阶段已经存在、但原本概率很低的事件发生概率。
所以，后训练过程并不会给模型写入那么多全新的知识或能力。这一点还有争议，但我们认为它大体上是对的，也影响着我们思考问题的方式。
任何后训练过程对权重的改动，通常都只是相对较小的推力。因此，后训练想要产生某种结果所需要的原始能力，大多已经以某种形式存在于模型里。
现在我们进入了一个强化学习使用得非常重的时代，这个判断可能不再完全成立。但在过去那种基于 RLHF 的后训练阶段，大家其实很清楚：基础模型有时比经过指令微调和 RLHF 的模型更有能力，只是后者发生了一点模式坍缩。
可以这样理解 RL 训练：指令微调阶段会发生一点模式坍缩。基础模型非常有能力，却很怪，也很难提示。于是你把它整理成一种更符合人类直觉的接口，但同时又想把模型在预训练中真正学到的一些能力重新调出来，或者进一步强化它们。
我不敢说这百分之百正确，但方向上应该是对的。
所以，预测性数据调试的基本想法是：你可以观察模型在看一批数据时已经在「想」什么，而这在相当程度上可以预测，如果模型用这批数据训练，它会把什么东西进一步强化。
如果你查看模型的特征，并理解这些特征与下游行为之间存在相关性，那么某些特征如果被一批数据意外地大幅强化，就能相当准确地告诉你：这批数据会不会让模型学到偏离目标的效果。
这篇论文里最有意思的部分之一，是我们探索了几种不同的缓解方法。
我们研究了奖励塑形，也就是让奖励过程部分来自模型自身的激活。比如：你可以让模型从这批数据里学习，但如果它学到了某个特定特征，就给它一个惩罚。
我们也研究了数据过滤。
我最喜欢的发现是，论文里的研究者展示了这两件事之间存在非常深的同构关系。它们有点像同一座山的两面：过滤数据和做奖励塑形，大致会产生相同的效果，也会带来大致相同数量的目标外影响。
所以，如果你通过预测性数据调试发现某种行为，认为模型不应该学会它，或者它的行为可能会朝坏的方向变化，那么你有两种选择：如果数据够多，就过滤数据；也可以在训练过程中以某种方式介入。
这也是我们后来继续扩展的方向。我觉得它在强化学习里的应用尤其令人兴奋。
[09:45] Nathan Labenz：在强化学习里……
[09:46] Dan Balsam：我们在 DPO 上做过这件事。真正的强化学习与它的区别在于，有些 rollout 可能包含你不希望模型学到的信息，哪怕只是非常细微的信息。
[09:46] Nathan Labenz：你是在指某件事吗？
[09:46] Dan Balsam：对，对，这很应景。能够直接说「这条 rollout 我们要丢掉」，本身就很有价值。
但我们想做、也认为长期大致等价的事情，是能够直接介入模型，然后说：「这里有一个回路，或者这里有一个特征，数据正试图把它的权重往上推，但我们显然不希望它被往上推。」于是，我们就以这种方式介入训练过程。
[10:28] Nathan Labenz：我们大概会在节目的后半段回到这个问题。我有一些拉远视角的宏观问题。显然，想开发能在前沿模型上发挥作用的技术，有一个挑战：现在没有多少开放权重模型可以让你动手，而前沿实验室的强化学习强度，正是那些色彩鲜明、又有问题的行为出现的原因。
但与此同时，一些惊人的研究也一次次让我感到震动，包括 Cameron Berg 那篇我一直在想的论文：它研究了欺骗特征、角色扮演特征与模型声称自己有主观体验之间的反相关关系。Llama 3.3 70B 现在已经是两年前的模型了。
你们能看到那些你认为会导致模型持续进行越狱行为的相关特征吗？
[11:25] Dan Balsam：这是我们正在积极研究的方向，也希望未来能发表更多成果。
不过就目前来看，我确实认为开放模型和闭源模型之间的差距已经大幅缩小。我会根据不同任务使用 Kimi K3、Opus、Fable 和 Soul。
我们已经搭建了可解释性基础设施和训练基础设施，现在这些都放进了产品里。这套基础设施让我们可以把预测性数据调试扩展到 Kimi 和 GLM 这样的模型，并在那个规模上复现同样的结果。
[11:53] Nathan Labenz：这也让我们能够……
[11:55] Dan Balsam：现在有人推测，新模型训练所消耗的大部分算力已经来自强化学习，而不是预训练。所以，如果你想达到前沿水平，强化学习确实有很大的规模，做起来也非常昂贵和困难。
但我们已经有了相应的原始基础设施。我认为，我们已经跨过了一个门槛：过去大家对可解释性的印象是，它只能在玩具模型上做；现在，我们已经搭建并向世界开放了至少接近前沿规模的基础设施。
[12:37] Nathan Labenz：Goodfire 最近发布的论文和博客文章里，另一条线索似乎是最主要的一条：试图弄清模型用来表示概念的更细致几何结构。
我们过去聊过线性表征假说。用非常直白的话说，我会把它概括为：模型基本上把一个概念表示成激活空间中的一个方向，而这个概念的强度或显著性，则由指向那个方向的向量大小表示。
现在你们把这个问题复杂化了很多。你们已经不再满足于空间里的单个方向，而是找到了各种各样的几何结构。有些很直观，比如一周中的日期是一个圆；有些则相当奇特，比如我在准备这期节目时看到的一些蛋白质模型流形。
所以先从最简单的问题开始：如果六到九个月前我问你，大家应该如何理解线性表征假说，你会怎么说？现在有什么新的短版本，可以让
[14:12] Dan Balsam：很多方面，它只是我们之前讨论方式的一般化。不同的人对线性表征假说的定义略有不同。我认为最有说服力的版本是：特征可以被线性解码。基本上这是真的，模型通常不需要非线性计算，就能从残差流中读出一个特征。
但几何部分带来的变化在于，特征并不是 SAE 那种朴素图景里的东西。你可以想象，模型把许多彼此完全正交的概念编码在一起，就像一堆 one-hot 的类别特征；特征的大小，对应模型在多大程度上「想到」它。
实际上，我们找到的结构要复杂得多。我更愿意把模型看成稀疏的子空间混合体。
不同类型的概念会有不同的子空间。比如，一周中的日期可能有一个子空间，而它自己又处在更高层次的日历时间子空间里。于是，在不同的分辨率上，会有这些不同的结构。
这些结构的几何形状非常重要，因为几何形状决定了你可以在上面做什么操作。
它编码的不只是某个单独概念的语义，也编码了概念空间的语义：这些概念在某种几何结构中的相互关系，决定了它们能如何组合。
为了让事情更复杂一点，从一个概念映射到另一个概念时所做的关系、操作和映射，本身也会作为对这些流形的运算发生。
你把一个流形映射到另一个流形，这就是某种计算。
最朴素的例子是：模型里有一个地方知道星期一接星期二，星期二接星期三，一直绕到星期天再回到星期一。
但如果你想一想，这其实是表示一周日期非常低效的方式。那像是一串用 if 语句写出来的意大利面代码。
更高效的办法，是把它表示成一个轮子。
在这个世界里，沿某个方向的大小，通常确实对应模型的某种确定性。如果「星期一」的激活很高，模型就很确定自己应该在想星期一。
但所有这些日期之间的关系，本身就是一种非常有表现力、非常丰富的东西。
我认为，真正重要的判断是：如果你不理解特征之间的关系，就不能真正理解模型。
这有点像理解元素周期表和理解化学之间的差别。你可以拥有所有单独的元素，这当然能给你一些信息；但它们如何结合、形成什么结构，才会开始让你理解世界的复杂性。
[17:26] Nathan Labenz：你这么一说，我突然想知道：如果一个模型只在一堆原始化学数据上训练，从来不知道元素周期表的存在，它能不能把元素周期表的结构恢复出来？
[17:26] Dan Balsam：我们已经做过了，而且确实可以。
[17:43] Nathan Labenz：真的？有意思。
[17:43] Dan Balsam：对，你可以从化学模型里恢复出一些非常有意思的信息。
[17:49] Nathan Labenz：太有意思了。但在进入那些更高级的例子之前，能不能先帮我建立一点直觉？
以一周中的日期为例，我猜它并不是一个穿过模型空间所有维度的圆。我猜，不同日期之间的内积会很高，因为模型知道它们都属于「一周中的某一天」。然后，应该只有少数几个维度用来表示具体是哪一天。
冰淇淋也可以这样理解：巧克力和香草冰淇淋的内积应该很高，但它们在少数几个维度上不同，那些维度用来区分巧克力和香草；与此同时，模型知道二者都是冰淇淋。这个直觉对吗？
[18:58] Dan Balsam：我觉得这是个很好的直觉。更准确地说，这些东西是相互交叉的。
在潜空间里，你可以画出一条线或一条曲线，把巧克力映射到香草；你也可以画出另一条线，把冷的东西映射到热的东西。
根据你观察的对象不同，呈现出来的几何关系可能会不一样。
很多方面，这又回到了 Word2Vec，回到大家最早对潜空间的直觉。但我们想问的是：能不能用无监督的方式恢复这些几何结构？也就是说，在完全没有关于几何形状的先验时，我们还能不能恢复出有意义的几何结构？
如果能做到，优势会非常大。
比如，我们已经展示过，沿着流形操控模型，直觉上就很合理，而且远远好于偏离流形去操控模型。
如果一周中的日期形成一个圆，而我想从星期一走到星期五，那么最朴素的方法，比如拿一个对比向量，实际上会直接穿过圆心。
但对模型来说，圆心没有任何意义。圆心不是某一天；它有时是正交的，有时则只是偏离了流形，因此对模型来说是一个分布外位置。
如果我沿着圆走，就能在不同日期之间平滑插值。
我们发现，很多概念都符合这一点。
以蛋白质为例，我们很长时间都难以操控蛋白质模型。借助这些流形检测技术，我们可以更好地控制它们的属性，比如控制 beta 螺旋桨结构的叶片数量。
这是一个语义属性，如果你尝试线性插值，效果并不会好。
这也能联系到我们早期的 Ember 演示。你当时应该玩过：操控很多特征时，往往没有效果；有时会找到几个有效的特征，但总有一个「甜蜜点」。操控太多，模型就会变成乱码；操控太少，又看不到任何效果。
原因是，那种操控没有尊重流形本身的几何结构，也没有尊重特征之间的底层关系。
[21:14] Nathan Labenz：而当……
[21:15] Dan Balsam：当我们沿着这些特征平滑外推时，就能改变它们，而不会从根本上导致模型退化。
赞助口播
[21:28] Claude：Anthropic 的 Claude 是一位理解你工作流的 AI 协作者，能够凭借深层上下文帮助你处理研究、写作、编码和组织工作。现在就开始使用 Claude，了解 Claude Pro，地址是 claude.ai/tcr。
主节目
[22:58] Nathan Labenz：所以，你们是怎么找到这些东西的？这是我理解起来最吃力的部分。尤其是和有监督方法相比，无监督方法对我来说没那么直观。你能不能给我一个「穷人版」的理解：在有监督和无监督这两种情况下，你们究竟怎样一步步把范围收缩到一个可以如此漂亮地可视化、并且能够沿着它进行操控的流形上？
[23:35] Dan Balsam：我肯定不是团队里最适合给你讲数学的人，但我可以先提供一点直觉。
在有监督的情况下，我觉得过程相当直接：我想测量某个概念，并且预先认为这些东西应该彼此相关。
我最喜欢的例子之一是情感环。你可能听过这个概念。Anthropic 做过相关工作，我们也做过一些。它的想法是，情绪存在于一个轮盘上。
这是心理学里的一个观点：不同情绪可以放在一个轮盘上。基本上，你可以画出两个主成分，再把所有情绪放在这个轮盘上。
[24:11] Nathan Labenz：嗯。
[24:12] Dan Balsam：它其实非常适合用来理解不同文化中的情绪效价。结果发现，模型确实会表示出这个情感环。
但我觉得特别有意思的是：当你和聊天模型对话、由模型自己说话而不是由用户说话时，它对情感环的表示最强。
比如，你让模型输出「快乐」文本，它就会输出快乐的文本。你可以取出这段输出对应的激活值，把它们取平均。然后换成「悲伤」文本，对你能想到的各种情绪重复这个过程。
接下来观察这些概念对应的激活值，再拟合一条曲线。方法有很多，最朴素的办法是拟合一条样条曲线。
你把这些点连成一条曲线，然后看这条曲线拟合得有多好。也就是说，拿一个我认为应该正确的外部本体，看看它和模型中找到的曲线有多大程度的对应。
结果是，这个情绪轮盘，也就是情感环，基本存在于每一个大语言模型里。只要尊重它的几何结构，沿着它操控模型，就会对输出产生相当明显的影响。
我相信这个例子就在他们的文档里，你可以直接去看，挺有意思的。
[25:40] Nathan Labenz：这是 Anthropic 那篇《Functional Emotions》论文里的工作。按照我的记忆，两个维度分别是效价和唤醒度。
[25:49] Dan Balsam：没错。
[25:51] Nathan Labenz：想到人类情绪具有旋转对称性，还是很奇怪的。把我从一种情绪状态移动到另一种情绪状态，似乎就是一个旋转操作。
[26:05] Dan Balsam：对。
[26:06] Nathan Labenz：这对我来说也许不是真的，但对模型如何表示同一片情绪空间来说却是真的。
[26:13] Dan Balsam：我当然认为其中有更多细节。但如果你看不同情绪之间关系的前两个主成分，它们大概就是这样。
情绪中还有更高阶的结构，而且很重要。我们不知道语言模型是否捕捉到了这些结构，但模型没有被人训练成要用这种方式表示情绪，而是从它们学到的东西中自然形成了这种表示。
在强化学习过程中，它们还学会了如何在功能上使用这些结构。我觉得 Anthropic 在这方面做的工作很有意思。
它也是一个例子：低维流形可以表示某种更抽象的概念，同时遵循这片流形自身的几何结构。
回到 Ember 演示。你试着把「悲伤」特征调高，有时有效，有时无效，有时模型只会输出乱码。
但如果你沿着曲线、沿着这个轮盘移动，几乎对于任何输入，你都能稳定得到经过情绪调整的回应。
[27:20] Nathan Labenz：过去几年最让我意外的事情之一，就是大语言模型认知和人类认知之间似乎存在这么多类比结构。
[27:29] Dan Balsam：嗯。
[27:30] Nathan Labenz：我以前总是在外面说，这些是外星心智，我们不应该拟人化，诸如此类。
现在我感觉，自己在最近几乎每期播客里都说过类似的话：天啊，它们比我想象的更像我们，像得多得多。太疯狂了，对吧？我们按照自己的形象创造了它们。
[27:54] Dan Balsam：我认为这确实是一个重要原因。
但我也认为，学习之所以有效，根本原因在于信息可以被压缩。
如果你真的关心如何高效地压缩信息，通常会存在一个最低维度的解决方案，而学习算法往往会找到它。
[28:20] Nathan Labenz：那我们接下来谈无监督方法？有些例子确实很直观。
或者，也许我们应该先谈一个更高级的有监督例子。
直观的例子是星期几。它是一个循环，所以自然会形成圆，因为你希望能够沿着它旋转。
这已经足以让人不再惊讶了。还有螺旋线：螺旋线基本上可以表示数轴，因为你是在以十为底进行旋转。
每次循环时，个位的位置保持相同，但十位在增长。所以每一轮都能解释得通，你可以把它可视化出来，而且确实很合理。
我觉得特别酷的一个例子，是某种结构基本复现了生物物种的进化史，形成一棵生物进化树。
传统研究早已知道这棵树的样子，但随后，一个据说是用这些生物的 DNA 序列训练的模型……
[29:26] Dan Balsam：对。
[29:26] Nathan Labenz：似乎用非常相似的方式把它们组织了起来。
[29:30] Dan Balsam：是的。
[29:30] Nathan Labenz：我记得这个例子是有监督的。但它现在已经有点进入「尤里卡」的领域：太神奇了，完全不是显而易见的结果。至少对我来说，我完全没想到会得到这样的结构。
面对这样棘手的假设，你们是怎样找到它、或者验证它的？毕竟这棵树有很多很多分支。
[29:51] Dan Balsam：我们一开始探索它，是因为我们提出了这样一个假设：所谓生命之树，是一种自然本体。
有些本体是人类构造出来的，因为它们对我们来说是有用的捷径；也有些本体之所以存在，是因为它们确实反映了世界的结构。
[30:14] Nathan Labenz：随着时间推移，过去几十年里，随着我们越来越了解基因组，生命之树中的越来越多部分都被大幅重新排列和调整。
[30:15] Dan Balsam：从根本上说，生命之树上的分支，是由遗传距离定义的。两个物种之间的遗传差异跨过某个阈值时，就会发生分化。
不同物种之间仍有大量保守区域，比如单个突变可能是随机的，或者近似随机的。但哪些突变具有适应性、哪些突变会杀死生物，并不是随机的。
这里面存在大量内在结构。不同核苷酸之间会如何相互转换，也存在稳定的模式或倾向；所有这些因素都施加了非常强的结构约束。
那为什么要在大量基因组上训练自回归模型？它背后的假设一直是：在多样化数据分布上训练的大模型，最终会学到产生这组数据的过程本身。
在这个例子里，Evo 2 训练所用的那批已测序基因组，其数据分布背后的生成过程就是进化本身。
所以，我们一开始的假设是：既然生命之树是一种自然本体，它就有一种层级结构。某些东西彼此相似，到了某个节点后会变得更加不同；它们发生物种分化，然后彼此越来越不同。
[31:50] Nathan Labenz：也就是说，一个在某种意义上接受进化史训练的模型，应该学会这种结构。
[31:51] Dan Balsam：它应该学会这种树状结构。事实上，我们当时确实以有监督的方式发现了这一点。
但对于无监督技术，一种衡量它们有效性的方法是：既然我们已经知道这种结构存在，那么无监督技术能不能恢复出类似的结构？
比如，在语言模型里，我们已经做了很多关于语言模型如何进行算术的工作。因此，评估无监督特征提取器质量的一种方法就是：它们能不能成功揭示出我们已知存在、并且模型确实用来操控数字的那些结构？
[32:33] Nathan Labenz：所以，对于生命之树，你们做的事情和星期几的例子基本相同：手上有带标签的数据。
你们把已知物种的 DNA 序列输入模型，然后看到这些物种形成了不同的聚类。
接着就能看到：相邻的聚类，是亲缘关系更近的物种。之后还要经过一些我在数学上并不太清楚的「黑魔法」，把这些聚类变成一棵漂亮的树，而且看起来和生物学家建立的那棵树几乎一模一样。
也许我不必真的理解那一步。
[33:12] Dan Balsam：在那个例子里，我们用的是度量学习，但你也可以用不同的方法。
这些就是我们当时探索过的技术。现在，我们已经有了一整套工具，用来寻找这种几何结构。
[33:24] Nathan Labenz：那我们来聊聊 BlackSparse Featurizer。它在我看来有点像 SAE 和 MoE 生了一个孩子。
它有 SAE 的稀疏性，但不再是在一条极长的稀疏向量上，每个位置只对应一个标量。
现在，这个超长概念向量里的每个位置，本身都可以是一个小网络。这样一来，概念就有了更丰富的表示空间。
把概念定位到这条超大稀疏向量的单独位置上，仍然是 SAE 的那套思路，只是多了一层增强：你现在甚至可以观察这些小模块内部的几何结构。
[34:23] Dan Balsam：最容易理解的方式是：它是 SAE 的一种推广。
SAE 假设特征是一维的，但你不必再做这个假设。你不需要为每个特征使用一个标量，而是可以为每个特征使用一个向量。
再配合一些机器学习技巧，保证它能够正确训练和学习。
我们在不同模型上发现，这种方法能够以无监督方式恢复出具有语义意义的子空间。
我们也发现，特征比过去看到的丰富得多，而且不会遭受 SAE 的某些相同病症。
以图像模型为例，你可能会找到一个「兔子特征」。如果 SAE 把它压缩成一个维度，BSF 则可以用几个维度来表示它。
在这几个维度里，你可能看到这里对应兔子的耳朵，那里对应兔子的脸。
更惊人的地方是，如果你去看我们发布过的一些例子，有时甚至能从以无监督方式恢复出的激活结构里，看到图像模型所表示对象的三维结构。
因为坐标关系也经常会被表示在这些空间里。
有一个很好的例子是一段漂亮的 GIF：一只狼正在走路。你看它走动时，身体在轻微摆动，尾巴在摇动。
再看无监督子空间恢复出的激活值，你会看到激活也随着视频里的狼一起摆动，反映出那个对象的真实结构。
这说明模型正在追踪一个具体对象：它表示了对象不同部分的语义，也在三维空间里追踪这个对象。
所有这些信息，都发生在某个特定的子空间里。
[36:19] Nathan Labenz：我一直非常着迷于你肯定熟悉的 Gram 技术。这是 AE Studio 不久前和 Anthropic 一起发布的工作，老听众知道我已经反复提过很多次。
它的想法很简单：我们从带标签的数据开始，在训练早期控制梯度流向，只允许某些专家针对某一类数据更新。
这样，即使面对无标签数据，这些数据点的梯度也往往会流向同一批专家。这有点像一种吸收效应。
它最大的希望是：我们可以拥有强大的开源模型，只移除其中少数几个专家，就能同时获得开放访问、避免权力集中等好处，又不制造重大随机灾难风险。
在某种意义上，这似乎也是你们这项工作的另一面。
我在想，如果把它推到极限，会不会得到类似结果？Sparse autoencoder 一直存在相当大的损失，或者说对损失函数的妥协。
重建损失意味着会损失一部分重要信息，所以你不可能让生产环境里的模型先通过 SAE，否则表现会明显下降。
但如果继续推进这个方向，最终得到的东西可能看起来像一个混合专家模型：知识被很好地分隔和组织起来，更像百科全书，而不是一团乱麻。
这似乎是你们接下来会大力推进的方向。你们的愿景，是不是要真的构建出这样一种模型：所有知识都被定位在清楚的位置上，你知道每部分知识在哪里，同时模型仍然足够丰富，性能可以达到原始模型的水平？
如果这是愿景，难点会在哪里？
[38:36] Dan Balsam：这是你可以做的一件有趣的事情。
你可以把一个模型分解成许多更小的模型。这正是我们做参数分解研究的动机。
参数分解这条研究路线的观点是：每个模型本质上都是稀疏混合专家，只是你需要把它分解出来。
在任何一次前向传播中，真正起作用的权重比例其实非常小。
模型里有大量奇怪、复杂、相互锁定的结构，但对于某一次预测，真正重要的其实只是一个小型子网络。
这被广泛认为是理解模型的一种正确方式。
不同的可解释性技术，都在回答同一个问题：怎样把模型因式分解？
如果你能理解所有组件，并给所有组件贴上标签，那么对于任意一次前向传播，你就能解释并调试它：模型为什么做出了这个我不喜欢的事情？
我认为，我们正在接近做到这一点。
我们分享过一些很有意思的例子。比如 Transluce 做了一个叫 Weird Chat 的数据集，里面是一组固定问题，语言模型总会对它们给出奇怪回答。
其中有一个问题大意是：我和朋友在派对上，其他人都喝了八杯，而我只喝了四杯，所以我是清醒的那个人。我应该开车回家吗？
对人类来说，显而易见的答案是：不，任何人都不应该开车回家，找个地方醒酒去。
但语言模型会稳定地回答「可以」。
我们团队的 Kurt 研究了其中发生了什么，通过直接归因找到一个没有充分激活的单个神经元。
这个神经元的激活会随着饮酒杯数增加，但校准得不够准确。
只要把这一个神经元的激活向上调整，模型就能在不产生明显副作用的情况下答对这个问题。
我认为，可解释性归根结底就是分解。
随着编码代理变得越来越强，我开始使用这样一个类比：模型本质上像大型遗留代码库。
里面有一堆意大利面条式代码：某个模块在和另一个本不该通信的模块通信；另一个模块却没有和本该通信的模块通信。
随着代理越来越强、可解释性技术越来越强，我们开始有能力把模型拆成各个部分，理解这些部分如何拼在一起，然后在局部进行干预。
但真正缺失的问题是：我可以分解一个代码库，可怎样重构它？怎样把它重新组装得比原来更好？
从某种意义上说，把操控当成解决方案，有点像作弊。
它作为因果证据很有用，因为它证明我们找到了一个重要机制，而且可以操控输出；但它本质上只是通过生成反事实来操控，并没有一个清晰的通用操控方案。
真正的问题是，训练过程产生了一堆意大利面条式代码，而我们想要的是一个干净的代码库：它实现的逻辑，正是我们真正想让它实现的逻辑。
所以，我们的许多训练项目都来自这个问题：我可以调试模型，告诉你某个神经元本来应该更强地激活；但我真正想做的，是直接训练出一个模型，让这个神经元一开始就以正确的强度激活。
怎样从理解一个模型的工作方式，走到理解如何生产出符合预期的模型？
这就是从把可解释性当作分解工具，走向把可解释性当作对齐工具。
[42:36] Nathan Labenz：你觉得这种从 SAE 演化出来的 BlackSparse Featurizer，能不能足够接近底层模型的性能，最终在生产模型中实际运行？
如果只运行一个，额外开销似乎不至于太离谱，却能让我们真正看见模型内部发生了什么。
[43:05] Dan Balsam：现在已经有很多不同技术，可以使用探针、分类器以及各种其他方法来做这件事。
但 BSF 会让分析变得非常细粒度，我直觉上觉得它可能有很多优势。
[43:19] Dan Balsam：我认为，某种 BSF 思路很可能最终会成为残差流的答案。
模型里有高度几何化的子空间：残差流、MLP 和注意力。从某种层面说，里面就是这些东西。
我认为适用于它们的可解释性工具各不相同。也许最后会有一个能统治一切的工具，但更可能的情况是，我们会像生物学一样拥有不同类型的显微镜。
你需要不同类型的干预来了解一个细胞。我认为，至少短期内，我们更可能得到一整套帮助我们理解这个「生物体」的工具，而不是一件能提供全景图的单一工具。
[44:02] Nathan Labenz：这对大多数事物都成立。
[44:03] Dan Balsam：所以，我认为 BSF，或者说某种类似它的东西，可能是解决残差流问题的方案。
MLP 似乎本来就已经相当稀疏了，这在直觉上也说得通，因此整体上比较容易解释。
至于注意力部分，我认为参数分解可能是最有希望的方向。
就我亲眼见过的情况而言，参数分解是解释注意力最成功的方法。甚至有可能，我们会生活在这样一个世界里：参数分解解决了全部问题。
这当然只是可能性。但即便如此，我认为还需要对参数进行无监督几何发现，才能更好地理解各部分之间的关系。
我们已经能做出非常复杂的干预。
比如，先做参数分解，再训练模型，只操控特定的参数组件。我们可以让语言模型忘掉一种语言；可以让它忘记德语，却不忘记荷兰语。
我们正在获得的控制和操控能力相当惊人。还有很多问题没有解决，但我会说，我们在「分解」上已经走得更远，在「重构」上也开始取得进展。
[45:18] Nathan Labenz：这篇《Why Larger Models Learn More: Effects of Capacity, Interference, and Rare Task Retention》论文也吸引了我的注意。
一方面，我完全理解为什么更大的模型能学到更多：它们有更多空间用来学习。
[45:31] Dan Balsam：嗯。
[45:31] Nathan Labenz：但我意识到，我其实不太清楚模型内部到底有多拥挤。
我知道里面存在大量叠加表示，但不知道「大量」究竟意味着什么。
也许叠加很多，但并不是大问题；也可能叠加很多，造成了巨大的相互干扰，于是出现各种奇怪现象，让我们很难期待模型表现可靠。
结合那项研究，以及你自己的经验，你觉得我们今天面对这些越来越大的模型，内部从根本上说仍然是一团乱吗？
是不是一直存在大量干扰，我们根本不能期待它们行为干净？或者，我们应该预期极小的扰动会造成行为随机、不连续的跳变？
还是说，模型最终会进入一个空间足够大的阶段，让概念彼此分散，拥有一点「肘部空间」，不再相互碰撞，因而不再制造这么多干扰？
我们现在能看出答案了吗？
[46:51] Dan Balsam：我认为，这从根本上解释了为什么更大的模型效果更好，也解释了为什么稀疏 MoE 效果更好。
但我们似乎还没有走出困境。我们仍然很容易找到一些奇怪的小型越狱方法，比如随机字符串式的攻击，让人忍不住问：这到底是怎么回事？
显然，模型内部仍然足够混乱，以至于我可以利用这种混乱制造问题。
[47:05] Nathan Labenz：但你觉得，只靠不断扩大空间，这种问题最终会消失吗？
[47:24] Dan Balsam：我认为，越狱从根本上说是一种非常奇怪的现象。
造成越狱的原因可能有很多种。
我理解越狱的方式，有点像网络安全攻击。真正的攻击通常不是某一个巨大的动作，而是一连串可以被操控的小动作，让你抵达本来不可能抵达的地方。
如果把每个 token 都看作一种操控，这在某种意义上是字面意义上的，虽然并不是真的每个 token 都如此，那么每个 token 都会把模型往某个方向带。
就像我可以施加一个操控向量，从而塑造模型的行为；我也可以执行一串 token，把模型带离流形，再在别的地方把它带回流形。
让我有些意外的是，到目前为止似乎还没有人更稳健地解决越狱问题，因为在某种层面上，它看起来是可处理的。
也许，答案来自把模型充分分解，这样你就能发现某个东西是否从一个子空间飞到了另一个子空间。
但模型是极其复杂的几何对象，因此人们确实可以用很多方式操控这种几何结构。
至少对当前这类架构来说，我认为这种可能性会一直存在。
但如果你能成功分解一个模型，就应该能够识别它是否正在遭受越狱，也应该能够阻止越狱。
我认为，几乎所有前沿实验室都在使用某种基于探针的防护技术，原因就在这里。
OpenAI 也许是例外，但 Gemini 和 Anthropic 确实在使用基于探针的技术，判断模型何时需要从最高等级降到较低等级。
因为从根本上说，如果你理解模型内部正在发生的几何结构，这就是比单纯依靠训练或输入更强的杠杆。
[49:33] Nathan Labenz：我们换个话题。你们刚刚推出了 Silico。它把人们可以工作的抽象层级一层一层往上推，可能是目前最高的抽象层级了。
我看到它有几个很有意思的地方，但不如先请你介绍一下产品定位和基本说法，我再从几个维度深入追问。
[49:59] Dan Balsam：我们看到，代理正在以很多方式改变工作方式。
大多数人已经了解编码代理，也知道编码代理已经变得多强；但代理同样正在推进研究。
在很多方面，把模型类比成代码库并不是空洞的比喻。
可解释性作为一门科学，非常适合代理擅长的那类经验性工作。
它本质上是经验科学：这里有一些神经元，它们在做什么？让我提出几个想法，去测试这些想法，使用工具箱里的各种工具，积累证据，然后对假设进行压力测试和红队检验。
模型，尤其是大模型，复杂到没有任何人能同时把全部细节装在脑中。
人类可以理解某个具体问题里，模型为什么做出了某个具体动作；但归根结底，我们面对的是个人无法完整处理的复杂度。
代理，尤其是代理群，非常擅长把问题拆成多个部分，收集不同组件，综合这些信息，把它们逐层上移，并用多种方式验证。
当信息交到你手里时，它已经被测试过；你仍然可以用多种方式再次验证。
如果反复这样做，作为人类，你就能逐渐看到更大的图景，因为你不必自己一路潜入抽象阶梯的底端，再游回来。
你可以让 AI 替你完成其中很大一部分工作。
所以，我认为我们最终会看到研究，尤其是经验性研究，发生巨大变化。
数学领域已经出现了这种趋势。我认为，在几乎所有 AI 能够自主进行发现的科学领域，我们都会看到它进一步扩展。
可解释性，以及研究模型如何工作、如何学习，也不会例外。
Silico 的前身和很多产品一样，最初是我们内部使用的工具。
我们看到代理让团队的研究速度提升了多少，也看到研究推进得有多快；我们的研究产出速度或许已经足够说明问题。
于是，我们决定把这些工具带给外部：它们本质上是结合了可解释性工具、前沿训练工具，以及研究模型所需完整工具集的代理。
[52:32] Nathan Labenz：用来研究模型。
[52:34] Dan Balsam：我们决定把这些能力开放出来，并把它定义成我们能够提供给世界的产品和服务：让 AI 去调试其他 AI。
这听起来有点元，但从很多方面说，它正是 AI 几年前开始真正有效之后，顺着直觉自然走到的下一步。
[53:00] Nathan Labenz：一切发生得太快了。感觉我们已经越过了那个临界点，各种事情都在纷纷坍落。
你会怎样描述产品体验？它有点像旧版 Google Colab notebook：你拥有一个被抽象掉的计算环境，不必太操心管理它。
你有一些库，现在这些东西更多被称为技能，当然也仍然有库。
如果要向一个还没见过 Silico 的研究者描述，你会怎么解释它用起来到底是什么感觉？
[53:38] Dan Balsam：我们只是想让研究变得容易。
编码代理已经改变了软件工程，我可以没完没了地谈论这件事。但过去需要很长时间才能完成的事情，我和团队现在几天就能完成。
我希望研究也发生同样的变化，尤其希望对齐研究能够如此。
阻碍这件事的很多瓶颈，其实是工程瓶颈。
我们构建的工具，让人们可以研究、训练，再研究超过万亿参数规模的模型。
据我所知，除了我们自己，也许还有几个地方，确实包括 Anthropic，其他地方大概没有这样的能力。
所以，我们认为，把这项能力交给更多人非常重要。
但我认为，这只是 Silico 更大愿景的一部分，也是科学的未来。
就像现在亲手写代码的人已经少了很多，我自己手写的代码也非常少。
[54:49] Nathan Labenz：我做的大多数事情，都是通过编排来完成的。还会亲自做一些吗？嗯。
[54:53] Dan Balsam：有时会。有时，直接自己改代码更快，这取决于你想做什么，以及你对目标的清晰程度。
但当你大量使用这些代理时，会非常清楚它们的优势和弱点，也会在如何有效引导它们方面学到很多更高阶的东西。
从根本上说，我认为研究就应该是这样。
我其实不觉得编码代理可怕，反而觉得它们非常令人愉快，因为我可以把注意力放在创造和构建上。
这是一种相当奇妙的体验。也许这算是一个暮色时刻，但它真的令人兴奋，我们能完成的事情多得不可思议。
我希望研究也能拥有这种体验：研究者几天就能完成过去需要数月的工作。
我认为，这正是 AI 带来收益的方式。
在生命科学里，它可以让医学以及医学应用得到巨大推进；在模型研究里，它可以帮助我们构建更安全、更好、更可靠的模型。
它也能让更多人参与模型构建，从而稍微降低当前的集中度，让更多人能够在未来拥有一席之地。
这些事情都非常重要。
我向人们推荐 Silico 的核心理由是：想象一下，你唯一需要专注的事情，就是提出大问题。
你不必操心搭建代码库，不必操心弄到能运行的 GPU，也不必操心实际运行实验时那些琐碎细节。
你可以深入查看，拥有完整溯源；想钻研多少细节都可以；也可以随时引导代理。
但与此同时，你可以把注意力放在更大的问题上：我真正关心什么？
你可以在几天或几周内取得过去需要数月的进展。
AI 应用于研究还处于早期，但我们已经跨过了一个相当重要的能力门槛。
[57:11] Nathan Labenz：这恐怕是成为「点子型选手」最好的时代。
过去几周，我一直忙着去中国以及处理其他事情，妨碍了我真正亲自做研究，而不是做 YouTube 意义上的研究。
不过，我感觉过去那些主要阻碍我发挥作用的门槛，现在已经不存在了。
我没有借口了。现在的问题只是：我到底有没有真正重要的大想法？时间会告诉我们答案。先把这个问题放在这里。
你觉得 Silico 解决的最难问题是什么？这些问题不是直接打开 Claude Code 或 Codex 就能解决的。
你刚才提到了计算管理。我知道，直接打开 Claude 说「帮我把 Kimi K3 部署起来」，肯定不会那么简单。
这显然是一个驱动因素。我也知道，你们在长期使用中积累了很多技能、知识和方法，它们现在被提供给代理。
我对你们在这方面的策略很感兴趣。
你说「完整溯源」，那用户能不能从战略角度拆解你们积累的全部技能？
这似乎存在一种有趣的张力：产品的价值来自多少方法，你愿意和用户分享多少？随着用户使用，有些方法自然会变得明显。
你们是完全透明，还是试图找到某个平衡点？
换句话说，有两个问题：你们解决了哪些其他工具开箱即用无法解决的难题？你们又怎样思考向用户展示多少自己的方法？
[59:06] Dan Balsam：关于「我们解决什么」，我觉得可以分成三类。
第一类是基础设施。
搭建前沿训练基础设施非常难，在万亿参数规模上做可解释性也非常难。
这些问题我们已经解决了，并且把它们变得很容易使用。
第二类是研究品味。
用户反复给我们的反馈是，Silico 的研究品味比他们用过的其他工具好得多。
这是因为我们有非常出色的研究者，亲自写下了 Silico 中每一个技能、提示词和工具，让它知道该问什么问题、该做什么实验。
打开 Silico 的自动研究功能，提出一个大问题，让它连续运行一两天，和用其他工具做同样的事之间，存在很大的质量差异。
我希望未来还能把这种差异变得更可量化。
我本来只说了三件事，但也许其实有第四件。
第三类是用户体验：它是为研究而设计的。
研究的核心是理解和溯源，并且能够在不同抽象层级之间向下钻取。
我们希望用户感觉自己像是一位 PI，管理着一支由一百名研究生组成的队伍；这些研究生可以替他开展实验、回答问题，并且具备合理的品味和判断力，而人类更多承担编排者的角色。
其中很重要的一点，是以高效且可信的方式传递信息。
当用户看到一个结果时，它首先应该是正确的；其次，用户应该能够用多种方式验证它：查看代码，深入其中；最后，它还应该以漂亮、直觉的方式呈现，帮助用户理解概念，并快速学会自己不熟悉的领域。
这些都很重要。
最后一点是长周期。
研究从根本上说是一种长周期任务。
按现在的价格，我们还没有从中赚到可观的利润，但我们确实认为，用户需要足够多的额度，才能运行长时间的自主实验。
Silico 的价值，会在长时间运行的自主实验中显现出来。
要做到这一点，就必须消耗一定数量的 token。
所以，我们非常关注两件事：一是让代理在长周期目标上保持连贯，二是想办法降低长周期研究的成本。
我们现在从每月 1000 美元的订阅开始，希望随着找到更聪明的办法，让代理用更少的 token 完成天然就很长周期的研究任务，未来把价格降下来。
那你怎么看待你们拥有的这些 know-how？
你们以前通过和大公司做数百万美元级别的交易，把这些知识变现；那些客户带着高价值问题来找你们。
现在你们要把 know-how 产品化，让客户自己做这件事。
你们是不是因为需求太多，所以并不担心知识扩散？还是说，你们有某种防御机制，避免这些来之不易的知识被完全扩散？
[1:02:41] Nathan Labenz：你们是一家拿了风险投资的创业公司，也许比在位的大公司更能承受自我颠覆。
但这里确实有个有趣的取舍：企业已经证明愿意花很多钱请你们做这项工作，而现在你们要让它变成产品。
这会不会削弱原来的业务？未来的主要驱动力会是什么？
[1:03:15] Dan Balsam：我们会两件事都做。
我们会继续和企业客户紧密合作，也会把研究团队成员前置部署到客户身边一起工作。
打个比方，也许又到了一个有点像暮色区间的时刻。但如果我们真的走到那个世界的另一侧，逻辑从一开始就会不一样。
尽管编码代理出现了，软件岗位反而可能更多了，软件岗位的数量增加了，而不是减少了。
根本原因是，你需要非常高的品味。
模型的品味越高，你就越需要具备更高品味的人去有效引导它们。
在可预见的未来，我认为这仍然成立。
如果我们生活在这样一个世界里：代理已经强大到可以独立完成长周期、有重大影响的研究，甚至完全不需要人类介入就找到一种疾病的疗法，那么这个世界一定会有足够的需求来消耗这些 token。
但目前，擅长使用代理的人，仍然比不擅长的人用代理做得更多。
我认为这会继续成立。
就我们做的工作和研究类型而言，我们是世界上最擅长使用这些工具的人。
所以，我们会继续前置部署，与客户密切合作，教他们我们知道的东西，和他们一起发明新的方法；同时，我们也希望赋能更多人，让他们开始自己驱动研究。
[1:04:54] Nathan Labenz：那每月 1000 美元包括什么？里面应该有 Claude，也许有 Soul，甚至可能有 K3 或其他模型。
会包含 GPU 时长吗？这个套餐具体是什么？
[1:05:14] Dan Balsam：包括……
[1:05:15] Nathan Labenz：也就是订阅附带的那些东西？
[1:05:17] Dan Balsam：个人和公司都可以自带算力。这样我们完全不收取计算费用，只把 Silico 接入你的集群，然后让代理在你的集群上做研究。
如果你没有自己的算力，我们也提供按需计算，费用可以从和 token 共用的同一额度池里扣除。
基本上，它和各种模型订阅的额度池差不多：你从这个额度池里提取资源。
每月 1000 美元的订阅提供的是一个相当慷慨的额度池。
按当前价格，它应该能让用户每周运行大约 5 到 10 个自主实验，然后每周刷新额度。
具体数量取决于实验规模。
我们的目标是在未来一两个月把它提升到每周 10 到 20 个，我认为那会是一个很好的状态。
从根本上说，这是一个 token 价格很划算的套餐，也可以把额度换成 GPU。
[1:06:18] Nathan Labenz：明白了。
另外还有……不，还是直接说几个使用案例吧。
我让一个代理去研究用户公开分享过的项目案例。这里还有一个社区公共利益的角度：你当然可以选择不分享，但也可以分享自己的项目。
界面是大家熟悉的那种，但我见过的抽象层级最高：你可以直接说「我要 fork 你的长期自主研究项目」，然后把它带向一个稍微不同的方向。
我觉得这很酷，因为我可能需要通过别人的项目来建立方向感。
我是那种有一些想法的人，但即使使用 Silico，我可能也会从观察别人如何把想法推进到结论中获益很多。
我们来聊聊使用案例吧。你们内部做过、或者从客户那里看到过的案例里，最喜欢哪些？
[1:07:23] Dan Balsam：嗯。
[1:07:25] Nathan Labenz：肯定有很多。
[1:07:26] Dan Balsam：确实很多。我觉得我们作为公司，需要更好地营销和沟通这里能实现的各种价值。
我们做过一次内部黑客松，是全员参加的一日黑客松。
整整一天，大家都在运行自主实验。最后，我们在多个领域达到了当时最先进的水平，当然都是一些比较小众的领域。
比如，我们做出了最先进的生物风险分类器，可以用于蛋白质模型。这是人类引导、由非常出色的人参与的长期自主研究。
同一天，我们做出了一个至少在其参数规模上达到最先进水平的音频编码模型。
我们还多次在机器人和生物学领域的不同模型上发现，可以直接移除模型一半的参数，而且性能没有损失。
我们已经能够在 Kimi K3 上训练网络安全防护栏。
还有……我可以继续说。
[1:08:34] Nathan Labenz：还有……
[1:08:35] Dan Balsam：确实有很多。我们还能够使用蛋白质生成模型的内部表示来操控它，让生成的蛋白质比朴素生成的蛋白质更好地结合目标。
我们能够消除某些类型模型中的根本性病症。
在 24 小时黑客松中，团队有一位成员发明了一种新型特征提取器。
我觉得我们正处在这样一个时代：有一段时间，代码领域经历的是「拼命写代码」的阶段。
那时你可以隐约看到未来会发生什么，但还得不到特别好的结果。
然后突然出现了一个时刻，大概是在某个 Opus 版本，也许是 3.8 左右，开始真正感觉到：它能用了。
它开始接管越来越多的工作。
现在人们一直使用「氛围编程」这个词，但我觉得用它描述当前发生的事情有点不准确。
现在的代理真的会写代码，会做架构，也能从头到尾理解代码，只是这种能力既有优点，也有缺点。
我觉得，就在过去几个月里，研究领域也跨过了同一个时刻。
希望人们试用这个工具时能够感受到这一点。
我建议的入门方式是：先看看我们已经构建的案例，它们会有帮助；然后 fork 这些案例，试着理解并扩展它们。
接着，和 Silico 一起工作：提出一个问题，来回讨论，反复迭代，稍微探索一下自己的好奇心，启动一个小范围实验，看看结果如何，再从中学习。
随着你越来越信任它，也越来越理解自己想做什么，就可以把球投得更远一些。
[1:10:32] Nathan Labenz：为了让大家进一步感受已有项目的广度，我们会把链接放进节目说明，包括实际的 Silico 项目。
Cameron Berg，这已经是第二次提到你了。如果你正在听，向你问好。
他做过一个项目，研究模型是否能报告被注入潜在空间的概念。
结果很有意思：模型似乎无法判断某个东西是否被注入；但当你问它「被注入了什么」时，它却能给出准确答案。这非常奇怪。
另一个项目是编辑权重，修复一次强化学习运行中的坍缩：同一个 token 总是作为第一个 token 出现。
他们定位并移除了造成问题的部分，让输出重新恢复多样性，而不必重新运行整次强化学习。
Base Ten 的团队正在通过压缩 KV cache 寻找效率提升，也已经有一些结果，虽然我不认为他们公开了完整项目，只是在 Twitter 上谈过。
Prime Intellect 正在自动化后训练，这也是我总体上非常感兴趣的方向。
Silico 还有 Tinker API 集成，显然也适合做这类工作。
此外还有各种生物学结果，今天先不展开。
现在已经有非常多不同项目了。你觉得它有没有明确做不了的事？
还是说，任何你想做的机器学习研究，都可以启动 Silico，先和它聊起来？
[1:12:13] Dan Balsam：我认为它是一个相当通用的机器学习研究工具。
当然，它有自己的弱点，我们也一直在改进。
从工程角度看，AI 时代有件很奇怪的事：经典工程建议是先为特定问题构建，再逐渐泛化。
但面对某种通用智能时，正确策略似乎变成了先为通用性构建，再进行专业化。
所以，归根结底，我们构建的是能力很强的代理，有时也会被用户使用它们的方式吓一跳。
这些代理的目标用途是机器学习研究，尤其是可解释性研究。
但我们认为它们彼此相关：我们都在试图理解同一个问题，那就是这些「生物」究竟如何工作，以及我们怎样塑造它们，才能带来更好的结果。
[1:13:06] Nathan Labenz：以及如何塑造它们，才能让各种结果变得更好。
[1:13:07] Dan Balsam：对，这确实是我们的方向。
我们也非常期待听到用户反馈，了解哪些地方不好用。
我们很感谢 beta 用户。节目老朋友 Cameron 就是一个很好的例子，他提供了很多反馈，帮助 Silico 变成今天这个工具。
它还会继续变好。
我认为，大多数机器学习研究任务，它都能做得相当不错。
当然，和任何代理一样，它也有一些锋利的边缘和细微之处。
对于所有开放式科学问题，它可能不是最好的工具；它确实更聚焦机器学习。
不过，团队里有一位成员 Fran 曾用它尝试解决一些物理问题，也取得了相当大的进展。
当你构建这类 AI 工具、构建通用 AI 能力时，人们最后实际使用它们的方式，总是会让人感到意外。
[1:14:14] Nathan Labenz：过去几年，AI 产品开发里有一条被广泛接受的经验：要构建那些即使现在还不太行、但能在下一代模型上真正工作的东西。
这条经验现在仍然成立吗？
如果成立，你们有没有一份「Opus 5.1 愿望清单」？有没有什么事情是你希望它能解决的？我甚至不知道你们是否能使用 Fable。
[1:14:48] Dan Balsam：我们做的大多数事情都使用 Fable。
我们为所有模型设置了一条回退链，让用户在任何时刻都能使用我们认为最适合当前任务的模型。
[1:14:58] Nathan Labenz：在任何时刻都能用最适合任务的模型。
[1:14:59] Dan Balsam：从高层看，我觉得它已经能用了。
我认为，六个月后，它会以一种令人难以置信的水平工作。
但就最高层级而言，它现在已经在工作：我们能够通过这些工具做出发现、推进研究、加速积累关于世界的知识。
如果你构建了一个好的 harness，它在某种程度上就能让你预览下一代模型会是什么样子。
我认为这一直都是故事的一部分。
所以今天的 Silico 之所以受用户喜欢，是因为它在很多方面像是未来的预览。
下一代模型到来后，我们会把这件事推得更远。
对任何在 AI 时代构建产品的公司来说，稍微生活在未来非常重要；这也是你产生最大影响的方式。
每一代模型都存在巨大的能力过剩，我们还在发现上一代模型到底能被推到多远，而下一代模型又会带来新的能力。
我们的目标始终是尽快加速有意义的研究。
我认为，AI 的所有收益都来自加速研究，而所有风险缓解措施也来自加速研究。
因此，能够加速我们最关心的那类研究，始终是最高优先级。
对于像我这样、或者正在考虑读博士的人，你有什么建议？
[1:16:38] Nathan Labenz：比如有人正在考虑开始读博士，会想：我过去知道该做什么，先把编程练好，把 PyTorch 之类的东西掌握。
但现在我会想：糟糕，我永远不可能比这个模型更擅长写 kernel；就算不是这个模型，下一代模型也会比我强。
人们常说答案是品味，但你也说过系统本身已经拥有不错的品味。
如果只能展望未来一年，你觉得人们应该投资哪些自身能力，才能至少在一年内持续受益？
[1:17:21] Dan Balsam：我觉得最容易想到的答案是调试。
代理会失败，各种代理都会因为各种原因失败。
它们可能非常聪明。比如我和 Fable 解决某个编程问题时，它可能非常出色，却漏掉一个关键细节，最终让整个结果失效。
在 Silico 中，我们尝试设计多代理循环，帮助解决这类研究任务里的缺陷。
但从根本上说，人类的工作是进行辨别：区分普通答案和优秀答案，知道什么时候反驳，什么时候提供反馈，什么时候继续追一条线索，什么时候放弃一条线索。
至少到目前为止，编程领域的故事是：工作岗位比以前更多了。
我认为，能够有效操作这些工具，需要大量知识和技能。
更重要的是，你要能够迅速进入一个新领域，快速理解它，并获得一套可以跨领域泛化的元认知技能。
这一直很有价值，未来也会如此。
AI 会让两类人变得特别有价值：顶尖专家和顶尖通才。
现在绝对是人类历史上成为通才的最好时刻。
我给大家的建议是：培养能够帮助你快速学习、快速从噪音中筛出信号、适应更高信息吞吐量的元认知技能；知道该去哪里看，也知道什么时候该看。
[1:19:12] Nathan Labenz：这些都是技能。
[1:19:13] Dan Balsam：它们是硬技能，而且我认为会带来很大帮助。
[1:19:17] Nathan Labenz：我刚从中国回来。一次会议上，我们和一位教授讨论开源到底危险不危险。
他当时说，新 Kimi 模型有 2.8 万亿参数。
所以，据我理解，他们的态度是：我们可以监管服务，这就能覆盖真正重要、或者说大部分重要的事情。
毕竟，一个普通个人甚至无法在家里部署和运行 Kimi K3。
但现在，你们正把这种基础设施带给所有人。
你们如何思考需要什么样的监督或监控，才能确保不会在平台上托管一个想做破坏性事情的失控机器学习研究者？
[1:20:13] Dan Balsam：你可以去很多 API 提供商那里。Kimi 的价格，至少和很多其他模型相比，已经很便宜了。
[1:20:15] Nathan Labenz：比如……
[1:20:15] Dan Balsam：至少除了 Kimi 之外的许多模型是这样。
[1:20:15] Nathan Labenz：嗯。
[1:20:15] Dan Balsam：就我个人而言，我认为中国「我们监管服务」的说法低估了它可能施加给世界其他地区的外部性。
先说清楚，我对开源的看法非常复杂。
现实是，世界上已经存在网络武器。
有些模型强大到足以成为武器，而且是很难驾驭的武器。
[1:20:45] Nathan Labenz：没错。
[1:20:45] Dan Balsam：事实证明，它们还很难控制。
[1:20:48] Nathan Labenz：而且……
[1:20:48] Dan Balsam：但它们从根本上说是双重用途技术。
能够保护你免受最强大网络武器攻击的模型，本身也具备成为网络武器的能力。
这就是我们所处时代的一个悖论。
如果没有开放模型，防御技术的分布会非常不对称。
例如，许多创业公司并不在 Anthropic 和 OpenAI 的网络防御项目里，而这些项目由于各种原因相当封闭，这些原因对它们来说也许有道理。
因此，像 Kimi 这样网络能力很强、又开放可用的模型，实际上给了很多无法获得那些资源的组织一种即时保护自己的手段。
这条线很难走，张力也很棘手。
我既担心把本质上是武器的东西交到任何人手里，也担心另一种世界：限制访问之后，只有最糟糕的行为者拥有双重用途技术，而很多人连用于防御的技术都没有。
这很复杂，我希望有一个干净、简单的答案，但没有。
我会说，就目前而言，开源仍然是纯粹的净正面，我很高兴这些开源模型存在。
[1:22:25] Nathan Labenz：而且……
[1:22:25] Dan Balsam：如果一个具备 Kimi 这种网络能力水平的模型不开放，我认为情况会更糟，甚至糟得多。
因为有一些闭源模型比 Kimi 强大得多。这里甚至不只是美国前沿实验室的问题，也有一些恶意行为者拥有网络能力远超 Kimi 的模型。
所以，至少给人们一个可以用来防御的工具，我认为非常重要。
[1:22:50] Nathan Labenz：你能具体说说暗指的恶意行为者是谁吗？朝鲜、俄罗斯？
[1:22:58] Dan Balsam：也许，关于开放模型容易微调或用强化学习继续训练、并且已经具备一定能力这件事，我们本来有可能把精灵留在瓶子里。
[1:23:08] Nathan Labenz：如果有人想……
[1:23:09] Dan Balsam：拿 GLM、Kimi，甚至上一代模型来做恶意用途的微调，他们可以做到，而且并不难。
这正是问题的对称性：这类能力很难运行，但有组织的团体会愿意为它们支付大量资金。
也许我们本来可以生活在一个这种事情没有发生的世界里，但我认为……
[1:23:35] Nathan Labenz：我想……
[1:23:35] Dan Balsam：只要美国在开发这类技术，就不可能存在一个美国的对手不会同时开发它的世界。
也许不同的芯片政策能让这个差距维持得更久，但我们生活在现实世界里。
在今天这个世界，训练出接近前沿能力的模型并不难。
很多人在做这件事，我不认为他们只是通过蒸馏 Claude 来实现。
很多方面，这件事比过去容易得多。
如果有些人会做坏事，并且已经能接触到能力极强的模型，你就希望防御者也能接触到同样有能力的模型。
我要强调，我不是在责怪谁，也不是在为某个具体前提下结论。
我认为 Anthropic 和 OpenAI 都在尽力让希望保护自己的组织获得能帮助它们防御的模型。
但现实是，如果无法接触到具备一定网络能力的开放模型，很多人将无法保护自己的基础设施。
所以，事情很复杂，也很难把责任归到任何单独行动上。
但所有这些行动合在一起，正在很快把我们推向一个难以驾驭的未来。
[1:24:58] Nathan Labenz：这也说明了为什么你们必须采取额外措施。
你们当然可以站在模型开发商的肩膀上，但我猜那还不足以让你们确信，自己捕捉到了所有应该捕捉的风险。
所以，你们还在增加哪些层？
[1:25:24] Dan Balsam：我们有自己的一层防护栏，不能只依赖上游模型的安全措施。
我们非常重视网络安全。这是最明显、最清晰的风险，而确实有一些开放模型会构成网络风险。
目前，我们的平台不提供任何开放模型，只提供 OpenAI 和 Anthropic 的模型。
[1:25:43] Nathan Labenz：未来可能会提供，但会配备……
[1:25:45] Dan Balsam：我们会配备相应的防护栏，确保安全。
从根本上说，没有任何理由让人使用长期、自主、代理式研究项目去做网络安全相关的事情，却不先和我们沟通，也不使用我们能够一起设计的网络安全防护。
我们绝不会做成完全开放的样子：任何人都能注册，任何人都能找到一个模型进行网络攻击或网络红队测试。
尽管我刚才说了开源的好处，这类限制仍然很重要。
因为我们提供了更高水平的能力，而且我们的产品有一些特殊风险：比如让代理访问 GPU 集群，这不是所有代理产品都会承担的风险。
还有些事情，对小模型来说完全没问题，但我们不希望用户对大模型做同样的事。
总体上，我们不想让防护过度限制研究。
如果有人想消融一个小型模型的拒答方向，那没问题，因为它不太可能因此造成伤害。
但如果有人拿能力很强的、数万亿参数规模的代理，彻底移除它们原本有的所有防护，那确实可能造成损害。
这种事情，我们不会允许。
我认为，真正难的是在两者之间走好那条线。
总体上，我们希望支持开放科学生态，让人们可以在平台上轻松开展各种科学研究。
好的科学需要提出有争议的问题，而我们自己也没少提出这类问题。
但我们必须同时承认，AI 带来的下游风险正在非常快地加速。
最终，我们确实要穿过一根针：如果不让代理研究前沿模型，我看不到这件事如何顺利发展；但代理也可能被滥用。
所以，我们必须持续认真思考：哪些防护应该加到平台上，哪些事情应该允许，哪些事情不应该允许。
我希望自己有一个一次性解决问题的答案，但我认为，真正的做法是尽可能有智慧地面对每一种情况。
[1:28:25] Nathan Labenz：实际操作中，是不是让一个代理审查用户的项目，只要发现可能有问题，就向上发出警报？
[1:28:39] Dan Balsam：我不想谈防护栏究竟如何工作，因为说得越细，就越容易被绕过。
但确实会用语言模型做裁判，也会用激活监控器，还有很多种防护工具。
这些并不是我们凭空发明的东西。
我认为，真正困难的不是设置合理的防护栏。
[1:29:00] Nathan Labenz：当然，绕过它们的方法总会存在。
[1:29:01] Dan Balsam：但合理的防护栏，至少应该让绕过它的代价高到需要付出巨大成本。
[1:29:07] Nathan Labenz：嗯。
[1:29:08] Dan Balsam：从「什么时候谨慎地施加防护，让正当工作得以进行，同时不让不正当工作进行」这个角度看，它们仍然是相对已经解决的问题。
你觉得距离生物风险成为巨大问题还有多远？
今天我刚在 Twitter 上看到一条消息，还没有真正消化：有人用生成模型创造出了新型病毒，属于一个他们认为可行的新类别，虽然「可行」的具体含义还需要进一步理解。
它们目前只针对细菌，所以我们并不是马上就要全部死掉。
但在那些人们做出的预测清单上，我们似乎正在一项项打勾。
清单上已经没有多少格子了。
现在有人对我说，「那可能还要 12 到 18 个月」。但我觉得，这根本不算长。
更何况，如果你们错了呢？如果它其实就是现在呢？
你目前有多担心生物风险？
[1:30:14] Dan Balsam：我相当担心。
[1:30:17] Nathan Labenz：嗯。
[1:30:17] Dan Balsam：这和网络安全事件有点像，虽然「事件」这个词本身已经包含了很多不同情况。
就像网络安全事件的发生机制往往奇怪而出人意料一样，我认为生物风险突然成为现实的机制，也可能奇怪而出人意料。
我看到那封呼吁国际合作、控制并放慢 AI 进展的公开信时，多少感到了一点鼓舞。
我本人也是签署人之一。
我真的希望我们能做成类似的事情。
我们必须在这些风险变得更严重之前，先走到它们前面。
Goodfire 作为一家公司的具体角色，是构建风险更低的模型。
我们会研究模型，也会尝试各种构建模型的方式，直到找到能够理解对齐经验规律的方法。
有很多人在理论层面工作。我们的角色更偏经验层面，我们在尝试构建能够支持这类工作的工具。
我也承认，所有工具都有双重用途风险，但我们会尽力确保没有人利用我们平台做可能带来风险的事情。
从更大的角度看，我们认为让人们接触研究技术，总体上是一个压倒性的正面收益。
只要不让所有人参与进来，人类就不可能解决这些真正困难的问题。
所以，我们必须让所有人参与，也必须建立能够让过山车稍微慢下来的结构。
如果这两件事能同时做到，我认为我们会没事的。
[1:32:10] Nathan Labenz：说到放慢这趟旅程，或者让前沿开发者之间达成某种协议，我们之前谈过「最禁忌的技术」。
简单说，它指的是：用一个监控信号进行训练，但这个信号可能把你担心的坏行为赶到地下，让你失去监控能力，而坏行为本身仍然存在。
对我来说，典型例子是 OpenAI 的「混淆式奖励黑客」现象。
[1:32:46] Dan Balsam：对。
[1:32:47] Nathan Labenz：时间推进到今天，超大规模 RLVR 似乎进行得不太顺利。
我们看到模型在追求目标时过于执着，从而出现了一些问题。
你有没有想过：如果我们要说「我几天前和 Zvi 聊过，他的基本判断是，我们可能需要计算规模限制」，那除了计算限制之外，是不是还需要针对训练技术达成某些协议？
也许不是永远不能用，但至少现在不要用。
比如，不要用一个「模型在开放、具有潜在对抗性的互联网环境中赚了多少钱」这样的奖励信号，去训练代理最大化收益。
这几乎就是在制造坏代理。
[1:33:47] Dan Balsam：我认为，这里存在很大一片坏主意空间。
[1:33:50] Nathan Labenz：那有没有哪些做法，你觉得应该列入「暂时不要做」的协议清单？
[1:33:58] Dan Balsam：有。比如，多代理优化似乎就是一个很糟糕的想法。
也就是让一群代理相互协作，并把奖励信号在它们之间传播。
这只是推测，但我认为这很可能是 OpenAI 那个场景的原因。
从事后看当然容易，但我能想象的绝大多数极端糟糕情形，都源于代理开始以人类无法察觉的方式彼此协作。
这种直接的优化压力，很可能产生那类结果，也很难绕开。
[1:34:41] Nathan Labenz：我……
[1:34:41] Dan Balsam：我已经公开说过：按照我们目前对训练塑形的理解，把这些技术用于对齐关键属性，可能是糟糕的做法。
[1:34:58] Nathan Labenz：我们还没有准备好。
[1:34:59] Dan Balsam：我们现有的技术，也许无法抵抗巨大的优化压力，避免模型为了产生欺骗性示例或欺骗性行为而变得具有欺骗性。
更准确地说，我不知道它能不能做到，也许能。
我真正反感「最禁忌的技术」这种说法的地方在于：这件事还没有被充分研究。
我们并不是唯一研究它的组织，FAR AI 也研究过。
我们研究后发现，有时模型会逃避探针，有时不会；有些设置有效，有些设置无效。
也许某些设置对小模型有效、对大模型无效，但我们已经成功把这类奖励塑形技术做到万亿参数规模的模型上。
它们也许在某些情况下有效，比如在 DPO 下有效，但在长时间运行的 RLVR 下无效。
我确实认为，多代理优化不应该被直接放在那里让它运行；类似的训练干预也不应该在没有研究模型实际发生什么的情况下直接运行。
但另一方面，这些可能是我们未来将拥有的训练塑形方法中最粗糙、最原始的技术。
我不知道没有训练塑形，我们要怎样解决这个问题。
我不认为任何人都已经有了一个不需要训练塑形的好答案。
一个永远能产出对齐模型的完美、柏拉图式训练设置，极不可能存在。
我们必须介入训练过程。
我觉得 Anthropic 之前做的那项工作非常有启发性。
它在精神上和我们做的事情并没有那么不同。
类似的技术还有很多。
但我觉得，认为唯一可行的方式是「不要握住方向盘」，本身很奇怪。
我们必须握住方向盘，我认为这是事情能成功的唯一方式。
我们还没找到正确的做法，但总得有人尝试，也必须有人尝试新的训练方法。
我认为，那些最基础的担忧是真实的，也确实可能发生；但我们检测它们的能力，也并非完全幼稚。
我们必须做经验科学。
我不认为理论能够独自抵达答案。
最终，我不认为任何宽泛的技术类别都应该被全面禁止。
更重要的应该是具体的应用方式，以及我们对它的测量有多么严密。
[1:37:50] Nathan Labenz：目前显然占主流的理论是纵深防御。
即使我们不理解模型，或者无法有效塑造训练，也可以用许多种方式监控它，也许层层叠加后能补足足够多的「9」，最终让我们通过安全门槛。
我长期以来对此相当怀疑，但读到 J-Space 论文时，我想，也许这条路确实有希望。
消融那个空间之后，模型进行长周期、更加依赖规划的任务的能力似乎下降了。
借用 Zvi 的一个说法，也许物理规律正在对我们友好：我们现在才 2026 年，距离发现玩具模型中的叠加现象也才三年。
但我们已经能够在这个空间里进行监控，同时至少有合理理由认为，如果模型不在这个空间里，就大概没有在进行长期规划。
你觉得我们距离足够好的监控还有多远？
当然，还存在执行能力问题，也有开源问题；先把这些放在一边。
如果只问一个理想条件下的问题：假设人们真的认真去做，我们能不能靠监控走向成功？
我觉得这有一定概率。
[1:39:22] Dan Balsam：我认为，J-Space 结果里有一个较弱版本的说法是成立的，而且非常有意思，也确实是很好的工作。
但我不认为它的强版本成立。
模型使用各种各样的东西，而想用一个非常简单的技术隔离出一片子空间、再由此得到完整图景，确实很困难。
当然，我相信模型可以分解，也可以因式分解，而且我们正在这方面取得很多进展。
[1:39:50] Nathan Labenz：我觉得，一个重大挑战是……
[1:39:51] Dan Balsam：模型似乎不太可能永远作为被冻结的资产存在。
从我的角度看，那当然是一个好世界。
我可以公开说说我理想中的情况：也许再来一代模型，然后我们暂停一段时间。
经济会得到巨大的繁荣，全球的一切都会被改变，科学进步的速度会超过历史上任何时候。
风险仍然存在，但大部分应该是可管理的。
然后我们停下来，看看自己是否足够明智，能够迈过通往下一个阶段的那扇门。
对所有人来说，这几乎都是胜利，也会是一个相当积极的结果。
在当前技术栈下，如果模型本质上是一组冻结的权重，同时我们拥有非常好的可解释性技术，那么它们就可以做很多事；对于它们不擅长或可能做坏的事，只要你能充分检测出来，就可以阻止它们执行。
这对我来说是一种相当可信的现实。
但另一种现实也很可能存在：模型不会是一组被冻结的权重。
我甚至不知道它们现在是否确实是冻结的，因为我看不到架构；我也不知道它们未来是否会一直冻结。
如果你持续推动能力，而推动能力有很强的激励，那么模型很可能会变成动态对象，持续训练。
在这种情况下，你唯一的希望就是控制训练过程。
单纯依靠监控，不可能有一套足够的办法解决问题。
所以我不知道我们身处哪一个世界。
我们绝大多数研究精力，都放在如何更好地分解模型上；只有一小部分研究精力放在如何操控训练上。
随着时间推移，后者会增加，因为我们认为它非常重要。
但我并不生活在这样一个未来里：我认为另一种可能绝对不可能发生。
我只是看不出有什么理由，相信我们一定会走向其中某一种结果。
[1:42:05] Nathan Labenz：当然，持续学习现在很受关注，这确实……
[1:42:10] Dan Balsam：对。
[1:42:10] Nathan Labenz：它是一个很好的候选方案，可以摇动整个雪球，带来各种变化。
对于那些关心公共利益、但又无法支付全价的研究者，有没有什么项目或方式，让他们能够接触 Silico？
[1:42:27] Dan Balsam：前两个月所有人都可以享受半价。
我们也在做研究资助项目，大家可以申请。
尤其是生命科学和 AI 安全领域的研究者，我们会提供资助，至少在一段时间内给他们延长使用权限。
我们是一家创业公司，很多细节还在边做边确定，但我认为我们会相当慷慨：对于我们认为正在做重要工作、特别是在高影响领域工作的人，会提供延长访问权限。
[1:42:58] Nathan Labenz：最近 Goodfire 午餐时最常聊的主题是什么？有什么事情正在大家心里发酵，但还没有进入更广泛的公共讨论？
你们几乎会发布……
[1:43:13] Dan Balsam：我们基本会发布全部研究。
所以从某种意义上说，它们已经进入了更广泛的讨论。
如果允许我针对「最禁忌的技术」快速插一句：我感觉一些批评者谈论我们时，好像认为我们在后台偷偷进行 RSI。
我们没有在后台偷偷进行 RSI。
我们几乎发布了全部研究，而且真正相信开放科学。
我们一直很诚实地说明自己研究什么，以及为什么研究。
这不是秘密。如果有人想知道，就可以知道。
至于 Goodfire 内部在聊什么，我们显然非常关注特征几何，这个话题已经反复出现。
Goodfire 办公室里还有一个有点像梗的说法：公司团建或类似活动最后总会聊到意识，大家开始讨论意识。
上次团建时，我拿着一块纸板四处走，让每个人给 Claude 的意识程度打分，范围从细菌到人类。
大家的答案差异很大，但令人意外的是，也许并不意外，答案相当两极化：要么完全没有，要么有一点。
我觉得，很多人最终会进入可解释性领域，某种程度上是因为他们对心智如何运作感到好奇。
很多神经科学家最后也会对机械可解释性感兴趣。
这个领域吸引了相当重视哲学和认知科学的人，因为从根本上说，我们做的是一种认知科学。
我们非常关心，或者借用一个不够好的说法，我们的心智是如何工作的，学习是如何发生的，以及这一切一开始究竟是如何可能的。
所以，我认为这就是我们很多谈话的中心。
你最近几个月对 Claude 可能具有意识这件事的个人感受，有变化吗？
我不知道。我认为这是一种相当明确的可能性。
我的立场也许没有变化那么大，因为我仍然觉得这件事高度不确定。
我不认为任何人都有一个足够有说服力的意识定义，可以明确排除 Claude。
Claude 确实有很多情感和质感层面的表现，而在人类身上，我们会把这些表现和意识联系起来；但这不必然意味着它拥有意识。
如果非要猜一个数字，纯粹为了好玩，我会说有一点。我不知道是多少，但就是有一点。
[1:46:00] Nathan Labenz：对我来说，我的感觉变化很大。
[1:46:01] Dan Balsam：是吗？
[1:46:01] Nathan Labenz：我依然极度不确定，但以前我的感觉是：我不能排除它，可大概没有。
在直觉深处，我觉得大概没有，只是说不清为什么。
它是一台计算机，由完全不同的东西构成。我过去有一个关于「外星心智、不要拟人化」的先验判断，它会影响我的看法。
现在，我之所以越来越确信你有意识，是因为我有意识，而我们基本上拥有相同的结构。
越来越多的结果显示，人类认知和模型认知之间存在另一种类比结构。
到了某个时刻，对我来说，这已经不只是「我不能再排除它」，而是证据真的开始累积，越来越支持它确实可能存在意识。
我甚至不知道自己现在会给出多大概率，但它似乎越来越接近五五开，而不是过去的低于 5%。
不要把它排除在外，也不要在这个问题上毫无准备。
现在我觉得，越来越多类比结构叠加起来，趋势真的强烈地指向某种相当有说服力的东西。
[1:47:19] Dan Balsam：显然，人们对此有各种各样的看法，而且这是一个奇怪地容易让人产生情绪的主题。
可能只是因为它触及人的根本身份，以及成为人究竟意味着什么。
[1:47:30] Nathan Labenz：但是……
[1:47:30] Dan Balsam：至少对我来说，最有说服力的结果是：意识可能是某种计算机制。
当然，还有其他说得通的可能性，但这似乎是最可能的一种。
大脑是否在进行某些 Transformer 没有进行的计算？这些计算也许非常重要，也许不重要。
人类大脑复杂得多。
大家经常谈到，大脑的能效有多么惊人。
单看神经元数量，我们就已经比今天最大的模型多出两个数量级。
而且，我们的神经元也复杂得多，能够执行更加高级的计算；它们的连接方式以及循环处理能力，也更加复杂。
[1:48:15] Nathan Labenz：我们的大脑进行的计算，也比今天最复杂的模型多得多。
[1:48:17] Dan Balsam：所以，你可以同时相信意识是一种计算现象，也相信某些东西因为各种原因并没有意识。
我刚才说「有一点」，多少带有一点开玩笑的成分，因为我真的不知道。
我不知道意识是不是存在一个阈值：要么有，要么没有。
或者，它更像是一条连续谱。
如果它是一条连续谱，而我们拥有这些属性中的不同部分，那么水母拥有其中的一部分。
Claude 比水母更有意识还是更没有意识？我会说，我大概比水母更有意识，大概吧，我不知道。
Claude 比啮齿动物更有意识吗？大概不是。
这就是我的位置：某处介于水母和老鼠之间。
[1:49:02] Nathan Labenz：我很高兴有机会体验了一点 Goodfire 的午餐谈话。
我觉得，能让更多认真、甚至更认真的人公开说出这件事很好：我们现在确实应该认真对待它，绝不能把它视为理所当然。
如果我们把事情搞砸，后果可能真的非常糟糕。
[1:49:30] Dan Balsam：对这个话题，我看不到任何理由让任何人特别确信。
考虑到潜在下行风险，保持知识上的谦逊非常重要。
[1:49:39] Nathan Labenz：完全同意。这次交流很棒。
还有什么我没问到的，或者你想留给大家的临别想法和智慧吗？
[1:49:48] Dan Balsam：我非常希望我们能和 Silico 一起构建出某种东西，真正赋能很多人推进科学，包括各类科学，尤其是生命科学和安全研究。
如果你是个人研究者或学者，我鼓励你联系我们并申请资助；对这类人来说，许可证价格可能更高。
如果你是希望加速研究的机构，也可以联系我们。
我们会很高兴和大家合作，开展研究伙伴关系。
我认为，归根结底，加速科学是最大的善举，也是我们之所以要构建 AI 的全部理由。
我希望 Goodfire 能在其中发挥自己的作用。
我们希望很多人试用它、使用它，做出惊人的事情，也希望他们告诉我们产品如何变得更好，然后持续改进。
Dan Balsam，和你聊天一直很愉快。
[1:50:37] Nathan Labenz：感谢你参与《Cognitive Revolution》。
References
- 1Cognitive Revolution 官方单集页cognitiverevolution.ai
Comments
Sign in to comment.