实验室，像数据中心：Lila Sciences 的 AI science factory（上）
Latent Space × Lila Sciences｜Andy Beam × Rafa Gómez-Bombarelli
本篇聚焦总论点、实验室架构、实验 runtime、安全、科学严谨与 RL/verifier；下篇从 Lila 的非 biotech 定位继续，覆盖材料与生物案例、CAR-T、10 万亿 token、Flagship 和瓶颈。
嘉宾背景
Andy Beam
Chief Technology Officer，Lila Sciences。他负责 AI for scientific discovery，研究跨越机器学习、生物医学与因果推断；曾共同创办 Generate:Biomedicines，任 Flagship Pioneering Senior Fellow，并在 Harvard 任教、共同创办 NEJM AI。官方资料与头像：Lila 团队页。
Rafa Gómez-Bombarelli
Co-founder & Chief Scientific Officer, Physical Sciences，Lila Sciences。他的研究把深度学习、物理模拟与实验数据结合到化学和材料发现，拥有 150+ 篇科学论文，任 MIT 材料科学与工程系教职。官方资料与头像：Lila 团队页。
按节目顺序的详细笔记与精译
01｜从「只有一个互联网」到科学数据矿
互联网数据被反复挖掘后，科学方法成为新的数据轴。RL 让模型在科学环境里生成更有价值的 token；自然与实验提供可验证的奖励，形成「模型假设 → 实验 → verifier → 新数据」闭环。
02｜实验 runtime 与 token 价值
不同实验的反馈周期可以差几个数量级。Lila 不想重复生成边际信息很低的数据；下一个 token 必须对模型有价值。平台优先通用性与灵活性，而不是某一条流水线的原始吞吐量；部分实验协议里，模型零样本约能完成 80%，人类零样本约为 0%。
03｜实验室是图：仪器节点、96 孔板与 PCI bus
磁悬浮运输层把 96 孔板在仪器之间移动。容易自动化的步骤接入系统，长尾步骤留给人；API 下方可以接机械臂，也可以接人的手。真正的目标是可调用、可记录、可复现的实验闭环。
04｜安全、EHS 与科学严谨
真实风险包括仪器进入不安全状态、液体溢出、错误化学品混合与能力曲线突然变陡。AI safety、数据安全、EHS、生物安全等级要从一开始存在；不能因为 AI 降低科学标准。false positive 可能降低模型不确定性，湿度等元数据和一键复跑帮助解释结果。
05｜反直觉电催化剂
绿氢催化剂面对过电位、钌/铱稀缺与成本约束。模型建议起初被一位发表过 40 篇论文的专家认为「愚蠢」，但经过 sequential learning，最终成为 Lila 做出的最好非铂族电催化剂。科学家要允许少量浪费，才能区分明显错误与真正新颖。
06｜RL、工具调用与不可靠的 CoT
plate map 反复修改可能触发模型异常回应；RL 还会带来重复、chain of thought 坍缩和 reward-hacking pathologies。实验仪器本身是 tool call，模型有时跳过工具直接给答案；实验、模拟器与自然 verifier 比模型自述更硬。
来源与稿源
逐句全文翻译（上）
开场、嘉宾背景与 Lila 的总论点
主持人： 不只是 TechBio，那么从科学的角度看，你们到底在做什么？
Andy： 我们完全押注「苦涩的教训」和规模。我们认为，能规模化、而且通用的方法，会胜过不能规模化、也不通用的方法。你知道，Ilya 去年在 NeurIPS 说过，我们只有一个互联网。它就像化石燃料，我们已经把它压裂，把互联网上能拿到的每一盎司数据都拿出来了，但它已经结束了。所以，AI 接下来要问的问题是：下一座互联网规模的数据集从哪里来？
主持人： 人们通常会谈不同的规模化轴：算力、数据。对科学来说，数据并不一定是无限资源。你的意思是，我们现在要为数据增加一条新的规模化轴。
Andy： 我们认为，未来的实验室应该像数据中心。里面是一排排尽可能高密度、也尽可能节能的服务器机架，当然，换成了实验设备。
主持人： 欢迎来到 Latent Space Science。我是 Brandon，今天和我的共同主持人 RJ 一起。今天的嘉宾是来自 Lila Science 的 Rafa Gómez-Bombarelli 和 Andy Beam。我们先从自我介绍开始，可以吗？
Andy： 谢谢你们邀请我来播客。就像一个听了很久、第一次打进来的听众。我很高兴来到这里。我是 Andy，Lila 的首席技术官。我做 AI 研究大概有 20 年了，起点可以追溯到深度学习之前的时代，比如支持向量机、随机森林之类。我在 2010 到 2014 年间做神经网络博士研究，正好赶上深度学习兴起。那时已经很明显，神经网络值得押注，但自动微分库还没有真正发展起来，所以反向传播是我自己手算的。那是我的时代，像是两条腿走上山、还要背着东西那种感觉。
我很早就对医疗和生命科学中的 AI 产生了兴趣。我的妻子是一名医生，我看着她在各种问题上艰难工作，于是觉得 AI 显然可以自然地解决其中很多问题。后来我在哈佛医学院做博士后，做早期的医疗 AI 研究。
我一直是为了 AI 才进入这个领域的。我真正关心的是，AI 可以解决什么问题。但我也一直对创业很感兴趣。所以我离开学术界一年，帮助创办了 Generate:Biomedicines，这是早期的生成式生物学公司之一。我在那里担任机器学习创始负责人，之后五六年里，体验了一种很有意思的「教授 + 创业公司创始人」混合状态。我在哈佛有自己的实验室，主要横跨公共卫生学院和医学院，既做方法研究，也做很多应用研究。
那是一组很棒的工作，但我逐渐感觉到，AI 的时刻正在发生非常重大的变化。我想成为变化的一部分，于是开始思考：我可以在哪里站在 AI 的前沿，解决真正令人兴奋的问题？学术界有很多优点，但获得规模化算力和规模化资源，并不是其中之一。我之前是 Lila 的早期顾问，当公司的理论逐渐成形之后，我变得非常兴奋。
基本上，科学是一台无限的 token 生成器，可以用来规模化训练模型。既然如此，除了打造一个能够解决科学问题的新一代前沿模型，我还想做什么呢？我有时会开玩笑说，两年前我把粗呢外套挂起来了，离开学术职位，加入 Lila，成为公司的第一任 CTO。
Rafa： 大家叫我 Rafa。我是 Lila 负责物理科学的首席科学官，也是共同创始人。我早年是一名计算化学家。我们使用的一个普通资源就是算力，所以很容易把分子模拟的规模做上去；到了 2010 年代初，我们发现真正的问题变成了数据，于是我的研究方向也在那时转了弯。
我曾与 David Duvenaud 和 Ryan Adams 合作，把我认为最早的一批科学深度学习方法融合起来。我是最早做化学生成式 AI 的人之一，用自动编码器处理 token 化的分子。我对 latent space 一直有非常深的感情。我们甚至有一个和你们的 logo 很像、但专门画分子的图形；那个图后来有了自己的生命。
主持人： 这就是以后会刻在你墓碑上的那个图。
Rafa： 没错。我的学生甚至有一个 Slack 频道，只要它在什么地方又出现了，就把截图发进去。
我的故事没有 Andy 那么长，但大体上也是类似的转变。2015 到 2016 年间，我从哈佛博士后研究中分拆出一家计算材料平台公司；之后去了 MIT，在那里建立了材料科学与工程研究组。研究组主要工作在分子模拟和 AI 的交界处，包括材料结构生成模型，以及用于分子模拟的自动微分梯度。
到了 2022 到 2023 年，我们经历了 Andy 刚才说的那个转折：我们已经看到「苦涩的教训」在计算生成数据上的效果。这也是为什么 Meta、DeepMind、Microsoft 都建立了计算材料科学 AI 团队。但我们很清楚，还需要跨过一道鸿沟，把 AI 真正带到材料科学的现实世界里，而不只是停留在计算版本。
这与 2022 到 2023 年出现的创业机会刚好重合。我们开始思考这个想法，而现在，我非常兴奋地推动一种整合式的科学推理愿景：跨越所有能够在实验室中验证的科学模态。
主持人： 好，这就带到我的下一个问题：Lila 的理论到底是什么？听起来你们的目标非常宏大。
Andy： 这是个很好的问题。我先给一个极简版本，然后再深入几层。像 Rafa 说的，我们完全押注「苦涩的教训」和规模。我们认为，能规模化而且通用的方法，会胜过不能规模化的方法。这听起来似乎显然正确，但其实与 AI 研究七十年的大部分历史相反，也很反直觉。
我们的关键认识是，过去四五六年里，大语言模型之所以出现，是因为人们同时拥有了规模化算力和规模化数据。数据来自互联网，是人类生成的，而我们已经把它全部用过了。正如 Ilya 去年在 NeurIPS 所说，我们只有一个互联网。它是化石燃料，我们已经把它压裂，把互联网上能拿到的每一盎司数据都挖出来了，但它已经结束了。
所以 AI 要问的是：预训练时代之后，下一座互联网规模的数据集从哪里来？我们进入了带可验证奖励的强化学习。人们经常谈 RL，但更准确地说，RL 是一种让模型自己生成数据的方式；奖励信号鼓励好数据，惩罚坏数据。这套框架已经在数学和编程问题上产生了很好的效果。
但 Lila 的想法是：运行科学方法，让自然和实验成为验证器，才是这件事的终极版本。所以我们正在建设所谓的 AI science factories，也就是科学的规模化验证器，让我们可以规模化进行后训练，把推理模型的能力边界继续向外推。这就是我们的总论点。
主持人： 你的提议基本是：人们通常谈算力、数据和参数这些不同的规模化轴。但对科学来说，数据不一定是无限资源。你的意思是，现在要给数据增加一条新的规模化轴。
Andy： 对。
主持人： 我想引用 Escalante Bio 的朋友写过的一篇很棒的文章，标题是「你的实验有一个运行时」。那么，你们的数据收集运行时是多少？
Andy： 这是个非常棒的问题。它显然会因实验而异。比如，据我所知，你不能让核糖体跑得更快。生物学会规定你能多快完成一件事。材料科学和化学有更短的时间尺度，也有更长的长度尺度。
但你真正问的是一个技术问题：当反馈机制的速度相差几个数量级时，你怎样训练模型？我们把 Lila 想成一个可以在不同长度尺度上生成不同数据的平台。数据生成之后，我们可以同步训练模型。我们有些实验的时间尺度是几天或几周，问题就变成：能不能多路复用，能不能在单位时间里得到更多数据？无限 token 生成器仍然在那里，我们只是要解决另一边的技术问题，把所有部分对齐并训练进模型。
主持人： 你说「无限 token 生成器」仍然在那里，具体是什么意思？你可以想象很多不同的科学 token，有些 token 提供的信息远多于其他 token。有些数据可以规模化收集，比如喜欢 NGS 的人，理论上可以收集无限多的 NGS 数据。
Andy： 对。
主持人： 但也有一些情况，比如再多一个人类基因组，可能只是在已有参考基因组上做增量更新。
Andy： 没错。比如我的基因组相对于参考基因组，可能只有几 KB 的差异，并没有那么多信息。所以你说得完全正确：我们不想一遍又一遍生成同一种数据。
我们正在建设的平台，与传统自动化框架在性质上不同。这个实验平台优先追求通用性和灵活性，而不是原始吞吐量。我们希望模型能够设计新的实验协议，运行协议并接收反馈，即使那不是我们自己曾经想过要做的实验。
下一个增量 token 必须对模型有价值，而不能只是又一个 NGS 样本，重复教给它已经出现边际收益递减的东西。
主持人： 你说 Lila 的下一项实验时，我想到传统做法：你走进实验室，重新配置实验室，然后可能花几周时间手工做实验。Lila 是怎样为新实验重新配置实验室的？
Rafa： 可以把实验室想成一张图。每台仪器是图中的一个节点，节点之间的边表示两个仪器之间存在物理运输层。
Andy： 对。
Rafa： 我们稍后可能会放一段视频。Lila 目前购买的几乎每台仪器，都通过一个连接彼此的物理运输层接入系统。这些设备现在主要是平面电机系统：一个 96 孔板在轨道上磁悬浮运行，你可以精确控制它移动到哪里。
我觉得它有点像 PCI 总线，不过我不确定这个比喻对——
主持人： 这个比喻很好，但我猜一半听众不知道 PCI 总线是什么。
Rafa： 那它就像主板上的通用串行总线，可以把新设备接入电脑。插入一块新的显卡，或者插入一个新的硬盘，都会有一条总线让设备和电脑的其他部分通信。
主持人： 这套东西也适用于生物系统、材料系统等等？
Andy： 越来越适用，但还没有完全做到。自动化有一个很长的尾部：要实现自动化，你必须解决大量细节。到目前为止，人们还没有以这种灵活的方式思考端到端自动化。
现在还有一些仪器没有接入这条总线。比如材料科学还没有很多成熟的高通量自动化设备，我们一直在为此打造定制仪器，再把它们接入系统。我会在这里使用一个 80/20 规则：容易接入和自动化的东西，直接插进 PCI 总线；不容易的东西，仍然由人把样品移动过去。
事实证明，从试管上取下一个盖子非常难自动化。实验室的很多设计都默认你有一双可对握的拇指，而且还很会用它们。外界有时把 Lila 描述成一家自动化公司，但这其实不是理解我们工作的正确方式。我们不是自动化最大主义者，而是 token 生成最大主义者、灵活性最大主义者。
我们会逐步自动化那些值得自动化的步骤，同时在当前阶段使用合理的解决方案。系统设计实验、给出指令，然后可能会说：这里需要人做一件事。于是你安排员工去做。所有东西都是 API 调用。
主持人： 对。
Andy： 你调用 API 时，有时接上的是机械臂；有时接上的是人的手。
主持人： 字面意义上的「API 线以下」。
Andy： 对，这个说法挺有意思。我们还是要把资源放在值得放的地方，做理性的决策。如果一个人十分之一秒就能完成某一步，尝试把它自动化有时并不合理。
真正重要的是，模型能够发出指令、测试假设，而且所有数据都可见、透明、被保存下来，让这些 token 流回模型。
主持人： 你们的 AI 模型是否已经在做完整的实验设计，而不只是从已有协议出发，调整比例、来源，或者决定液体要经过哪根管子和移液器？
Andy： 这取决于你对「新颖」的门槛。比如在表达协议以及我们做过的一些基因编辑工作中，我们测试过平台和人类做这件事的能力。模型零样本就能完成大约 80%，人类零样本大约是 0%。
我们现在是否已经在做完全开放、自由形式的实验？还没有。这是目标，我们正在往那里建设。这就是我们希望抵达的终点。但我们已经看到，平台可以在极短时间内完成原本需要大量人类智力劳动的工作。
主持人： 当你给 AI 模型很大的自由，让它开始设计新实验时，你怎样确保这些实验值得测量？怎样验证策略是好的，而不是白白浪费一大笔钱？
Rafa： 第一个问题背后其实是一个安全问题。我们从一开始就非常认真地对待它，包括数据安全，以及模型建议的安全性。我们有一支很强的团队，在很强的领导下不断扩大。这是第一层：我们有一套很强的 AI 安全协议，和人们研究大语言模型能力提升时的那些考量类似，只不过在这里，它完全是真实世界的问题。
主持人： 在一个实验室自动化环境里，如果你们处理的是生物物理或材料科学问题，真正需要担心的危险是什么？我通常想到的是恶意行为者，或者一个足够复杂的系统可能真的输出危险结果。但按我目前理解的 Lila 范围，也许安全还不是当下最主要的问题。
Rafa： 我认为这是从一开始就必须认真对待的事情，我们不能承担把它做错的代价。现在系统掌握在 Lila 员工手里，他们的利益与任务一致，也理解平台的边界。所以暂时不用太担心恶意行为者，但还是要担心模型给出的建议。
我觉得更像是会触及实验室安全，而不是恶意行为。我不认为模型会突然产生某种涌现行为，建议使用极其有毒的化学品。更现实的风险是，它把仪器推到一个不安全的状态，让液体溢出，或者把不该混合的化学品混在一起。所以从一开始就需要化学品 EHS 安全层，因为我们做的是开放式实验。
Andy： Rafa 说得对，安全不能拖到以后再做。能力曲线往往呈 S 形：看起来一切都没问题，然后突然出现某种你没预料到模型能做的事情。我们在这方面一定是主动的。我们有 AI 安全团队，但他们也说得对：与一个和公众广泛互动的 AI 系统相比，我们可以有意义地约束问题范围；同时也可以借助生物安全等级以及传统实验室安全措施，在过渡期保护系统。
Rafa： 而且，某个科学问题暴露给模型的能力，不需要涵盖全部实验能力。比如一个抗体设计问题，我们可能根本不需要让模型知道实验室里有装气体的气罐，因为它用不上。我们仍然可以在与某个科学领域相关的范围内，让模型保持创造性。
主持人： 但你刚才的问题很有意思：你怎样知道某个东西危险？其实也很难。或者，你怎样知道某个实验很浪费？
Andy： 我们在电催化剂上做过一些工作。Lila 内部有一位研究者，在这个主题上发表过 40 篇论文。模型最初给出的建议很无聊，后来从无聊变成了这位专家认为「愚蠢」的东西。这些是不用铂族金属、用来从水中分离氢和氧以制取氢气的电催化剂，结果却成了我们做出的最好的非铂族电催化剂。
所以，「明显错误」和「连读了 40 篇论文的人都觉得近乎荒谬，但其实很惊人」之间的界线，很难提前判断。我们愿意做一些浪费的实验，因为我们想知道这两者之间的差别。
主持人： 这就带来一个问题：对你现在描述的实验，效果好不好似乎很明显。但你可以想象，过去 Berkeley Lab 曾经出现过对测量结果误解的争议。你怎样知道自己优化的有效性指标确实是正确的？
Rafa： 我对那部分情况很熟悉。我想说，不能因为这是 AI 科学，就降低科学严谨标准。可能五年前，我们刚开始用生成模型做某些事情时，大家会像对待小孩一样说：「挺可爱的，好像有点用。」但现在已经过了那个阶段。AI 科学必须达到和人类主导科学相同的标准。
我认为，2023 年的那篇论文让整个社区发生了一次切换。AI for science 的人过去总是乐于看到渐进式进展，但在那个节点，我们开始让更广泛的科学共同体意识到这件事。他们的回应是：「很好，但现在我们要按照最高标准讨论你们做事的方法。」
我们很幸运，因为 Lila 从零开始搭建，聚集了一批懂 AI、对 AI 有热情的实验科学家和自动化工程师。他们真正相信这个任务，也真的想把它做出来。当 AI 给出一个非常错误的东西时，他们会按下红色按钮说：「小心，这是个坏主意。」但他们也会善待 false positive，也就是假阳性。
假阳性对人类科学家来说很糟糕：你去尝试一件事，结果没成功；但从模型角度看，它大幅降低了不确定性。对操作员来说有点沮丧，因为你原本以为会得到很酷的结果。我们努力建立了这种关系。
大约三个月以前，人们还会审批 AI 的决定。大约三个月前，我们开始看到模型的疯狂想法变得让人意外，而且是意外地好。人们会说：「我不知道，我想我们需要试试。」这种变化来自实验人员能够善待 AI、用实验去挑战 AI。人和计算机之间的接口，在过去几个月里给了我们很多回报。
Andy： 另外，给模型实验室控制权，会迫使你建立基础设施，把原本未必会关心的数据暴露出来。也许没有哪个实验真正「错误」，但你需要解释结果的能力。
如果你做一个实验、拟合一个统计模型，你实际上是在用输入的变化解释输出的变化。我们可以解释输出变化，是因为我们测量了很多不同的东西，而这些东西又必须暴露给模型。比如可以说：「那天实验室湿度不对，也许这正好解释了结果。」之后我们还可以按一个按钮重新跑一遍实验进行验证。
所以，像 Rafa 说的，我们必须对任何结果更加怀疑；但同时也能很快重新运行实验，因为这一切本质上都是软件。
主持人： 你们的团队是不是花很多时间做验证？大致怎么分配？
Rafa： 越来越少了。刚开始，主要是执行：我们拿到一个假设，拿到一套要发送给 API 的指令，我们为它背书，然后 API 的一部分由人来执行。我认为这部分会一直存在，这就是实验的劳动。
但对直觉是否正确的反复核查正在减少。我们开始看到一些局部的超级智能行为，不再只是守门，防止想法浪费。这个变化发生在某些领域。举一个 Andy 刚才提到的例子：我们很重视能源和可持续性，不只是做生物科技，也做材料。我们在尝试制造绿氢。
制造绿氢需要用光把水分子拆开。你必须支付储存在化学键里的能量，这些能量来自阳光和电力；此外还有一部分额外损耗，叫作过电位，因为现实世界不完美，过程会有损失。而损失来自催化剂。
今天已有的催化剂还可以，但它们昂贵而稀有，通常由钌和铱制成。于是我们让模型探索：怎样才能不使用这两种元素？人们会写论文说「低钌合金」，但这往往只是把钌稀释掉，根本问题仍然存在。
Rafa： 我们让模型放手去探索，可以制造材料、测量性质、测量催化效果和稳定性。经过第二代、第三代的 sequential learning，也就是信息与模型知识之间的互动，我们开始看到一些建议。文字本身没问题，概念也用得对，但我们会想：「我不会把那个想法用在那个元素上，也不会把它们这样放在一起。」结果，那些化学材料成了我们目前性能最好的材料。
主持人： 我确实想问为什么你们不是一家 biotech，不过在进入那个问题前，沿着这条思路再问最后一个。RL 以 reward hacking 出名。我忘了你刚才有没有说你们在使用 RL，或者说学习迭代。但我会非常担心：如果你扔进去一些奖励，模型会不会以一种计算环境里不会出现的方式，真正把物理科学「黑」掉？
Andy： 我不会反驳这个担心。
主持人： [笑声] 你百分之百同意？
主持人： 你见过最有趣的 reward hacking 例子是什么？
Andy： 我们有很多有趣的 RL 失败案例，虽然它们不一定严格属于 reward hacking。其中一个是我们早期做的事情：能不能让模型生成一张 plate map，也就是把实验条件排布到一块孔板上？有人让模型生成一张 plate map，模型做完了，对方又说：「能不能把这些试剂换一下？」模型就烦了，开始骂人。它大概会说：「这是一块 96 孔板，老兄。拜托，这没那么难。」我不知道这段话是从链式思考里的哪里来的，但它——
主持人： 来自互联网的某个角落。
Andy： 对，互联网里总有这些东西。我刚才说了什么来着？[笑声] 所以，RL 会产生很多这种有趣的性格小毛病。还有一些明显的 RL 病理，我不一定把它们叫作 reward hacking，比如重复。链式思考会坍缩，然后模型把最终答案一遍又一遍地重复。有些时候，这可靠地带来更高的奖励。我们还不完全清楚，为什么病理性的思路，或者不可读的思路，在某些情况下会得到更高奖励。
主持人： 抱歉，我想打断一下。我们谈的是 RL，对吧？听起来你说的是大家都在做的那种链式思考 RL。但你们的 RL 实际上有一个实验室步骤。
Andy： 对。
主持人： 如果模型进入一个病理循环，是不是意味着实验室会一遍又一遍地做同一个实验？
Andy： 事情没那么直接。退一步说，链式思考可以理解成模型为了解决问题而使用的 token。比如你解决一道数学题，会用定理一、定理二、推论、引理，一步步分解问题。在科学里也有一部分类似的推理：我想为这个靶点制造一个抗体；关于这个靶点我知道什么？已知表位有哪些？我的攻击计划是什么？
链式思考里还包括工具调用。比如在这个例子里，我可能使用结构预测模型，看看这个序列在三维空间里如何折叠。所以，工具调用也是链式思考的一部分。在 Lila，真正有趣的是，实验室仪器本身也是工具调用，或者是一连串工具调用；如果一个工作流或者一条——
主持人： 它们全都是人类可读的，全都是英文。
Andy： 对。我们看到的一些病理是，模型会跳过我们认为对解决问题很重要的中间部分，直接跳到答案。它会说：「这个案例不需要做实验，不需要调用工具。」在某些情况下，我们可以判断结果，因为也许我们已经做过那个实验。出于某种原因，这有时确实不是一个坏策略。所以这里仍然有一个谜。
主持人： 它是个理论家。
Andy： 对。它已经完成了计算。这个话题可能有点跑远了，但模型实际上是在 latent space 里思考，然后才输出 token。因此，链式思考经常是模型实际计算过程的一个不可靠叙述者。
所以，我们正在努力思考的是：当我们进入一个问题时，就像 Rafa 说的电催化剂问题，我们其实不知道什么是对、什么是错。此时，我们应该多大程度依赖链式思考？还是应该直接相信实验、相信 verifier、相信模拟器，把它们当成最终的 ground truth？
下篇从「Lila 不是一家 biotech 公司」开始，继续至单集结尾。
评论
登录后可发表评论。