1,815 位化学家，前五命中 60%：模型认出的是「谁做的」，不是物理。于是伊恩·奎格利转身去造一台能测量的机器。
这期讲了什么（31 段，按节目顺序）
01 / 0:00 开头：一眼认出是谁的分子。 伊恩和联合创始人安德鲁·布莱文斯还在 Recursion 时，一位药物化学家路过屏幕，看了一眼就说「这像是斯图尔特·施赖伯的分子」。他们当时的反应是：如果模型只看分子就能认出作者，那它学到的可能不是物理，而是人。1
02 / 1:22 介绍。 伊恩是 Leash Bio 联合创始人兼 CEO，此前在 Recursion 负责数字化学团队；公司 2024 年公开亮相，投资方含 Innovation Endeavors，团队约十人。官方口径：300 亿条以上蛋白–分子相互作用、670 万颗自己设计并合成的分子、700 多个蛋白靶点。23
03 / 2:40 DEL 是怎么工作的。 DNA 编码化合物库把每颗小分子挂上一段 DNA 条码，一管里装下海量分子，蛋白像鱼钩一样浸进去，结合上的那些被拉出来、再测序。一次一管地筛，世界上最大的库只有几百万颗；用 DEL，已经做出来的最大库是 40 万亿颗。组合化学意味着几千到几万个砌块就能生成几百万颗分子，而相似性正是对照的来源。
04 / 5:25 测序作为一种读出。 伊恩的说法是，生命科学里真正能规模化的读出只有两种：拍照，和测序（测序本身也是拍照）。测序便宜、成熟、还在继续降价，这条成本曲线直接决定他们怎么设计实验规模。
05 / 9:14 条码、对照与粘 DNA 的假阳性。 很多蛋白本来就结合 DNA，实验里那一大堆 DNA 是假阳性来源。他们的做法是同一种小分子挂 32 或 48 条不同条码：某一条被异常富集，问题就在 DNA 而不在分子；反过来，这还能把蛋白被描述过的 DNA 结合基序还原出来，顺带证明蛋白做对了。
06 / 11:51 带着 DNA 和不带 DNA。 把命中变成真实化学物要重新合成、跑功能实验，容易的分子约 90% 能过，难的只有 50%。但重跑实验时，命中和顺序大部分能复现，这让「测到的信号是真的」有了底。
07 / 15:24 为什么 Leash 的路线成立。 传统做法是押一个很难的靶点、花几个月长蛋白、做一次大筛；他们反过来，让一个库去筛几百个靶点，于是每个库的性格被摸清楚——包括同一个库两次做出不同脾气这种事。
08 / 19:19 Recursion 黑手党。 伊恩数出四家押韵的公司：Leash、Ron Alfa 的 Noetik、Viswa Colluru 的 Enveda、Katie-Rose Skelly 的 Known Medicine。共同点是在极噪的测量里找信号。
09 / 20:51 为什么小分子仍然重要。 抗体进不去细胞、做不成药片，还要冷链；小分子能进细胞、能做成药片，代价是哪儿都去、更容易有毒。他们甚至想把「筛过每一个蛋白」当成愿望，包括人之外的物种。
10 / 26:22 规模：四十亿条。 两年前最大的公开集合 BindingDB 约不到 300 万条相互作用；他们放出的数据集约 40 亿条，大了一千倍，全部由一个人在地下室测出来。4
11 / 28:21 BELKA：一场被设计过的比赛。 库来自上海 AlphaMol，约 1.3 亿颗分子，中心是三嗪轮毂、三根辐条。评测集分三档难度：共享一根辐条、只共享轮毂、换一个完全不同的库，比例不公布。5
12 / 32:32 Kaggle 结果教了什么。 共享砌块时大家还行；到完全不同的化学库，没有一支队伍超过随机，前五里三个交的是带噪声的教程 notebook。他们赛前给「共折叠让公司多余」留了 5% 的概率，没发生；最朴素的 SMILES 表示反而赢了。6
13 / 35:44 更好的数据。 固定预算下只有两个轴：化学物数量和蛋白数量。他们选了「少一点分子、多一点蛋白」，也选了把已有的库测得更清楚。全部数据与评测放在 Polaris 上，谁觉得自己行都可以来试。5
14 / 40:15 Hermes。 蛋白侧用 ESM 嵌入、化学侧用 ChemBERTa 这类「预测下一个 SMILES token」的嵌入，拼起来接交叉注意力，输出二值标签。按砌块簇做不重叠切分时，XGBoost 一路掉，Hermes 相当平稳。
15 / 46:24 聪明汉斯。 那匹会「做算术」的马其实在读主人的微表情。他们的版本：从 ChEMBL 取 1,815 位化学家、训练只看分子预测作者的分类器，前五命中 60%。同样的道理，「按分子量排序」这种最笨的特征在 CASF-2016 那类评测里曾经并列第一——那是数据的性质，不是化学的性质。7
16 / 55:50 外部数据上的 Hermes 与 Boltz。 测试规模约 1,300 万条、跨约 500 个靶点。BRD4 上有一颗分子在 PDB 训练集里出现过，他们的模型表现一般，Boltz 完美命中。8
17 / 59:07 活性悬崖与被打坏的口袋。 两个几乎一样的分子，一根「魔法甲基」的有无决定成败。把口袋灌上水泥、填平或放大，用最先进的共折叠模型预测，它仍然把分子塞回原位——它记得那里有个洞。
18 / 1:07:12 读突变实验的结果。 先用已知会进这个口袋的竞争物把命中挤掉，再在 DNA 层面定点突变、重跑一次筛。两次都消失的那批化学物，就确实进的是这个口袋；忙的一周他们能筛一百个蛋白构建体。
19 / 1:11:36 抓住 Hermes 在背蛋白质的外号。 打开注意力图：它既没看结合口袋，也没看保守结构域，而是看了一段远离功能区的短序列——它在给蛋白起外号。用突变重训之后，注意力分布均匀多了。
20 / 1:15:47 语言模型与一个科学推理沙箱。 他们用开源模型（Qwen、GLM 等）学药物化学，用英文描述结构、差异与理由；然后给 10 个结合物、10 个非结合物、100 颗分子的预算，让模型在 650 万颗的空间里自己选下一步。
21 / 1:21:27 一个周末一万个系列。 一个药物化学家一辈子见过的 SAR 系列大概几十个；他们上周末拉出一万多个，而且「还没怎么使劲」。公司只有十个人。
22 / 1:24:08 化学空间的边界。 库的形状（Y 形、线形、大环）就是它的盲区。DEL 最常见的酰胺连接在体内好消化，过去四年才出现一批对 DNA 友好、又能给出碳–碳键与碳–氮键的化学。
23 / 1:26:00 硬问题：泛化与成药性。 想要「把氮原子绕环走一圈」需要定制合成，商业可得性跟不上——限制在化学供应，不在模型。即便如此，他们用很低的药物化学轮次，六个月就从库里的命中做到了小鼠 PK/PD。
24 / 1:28:36 六个月：从库命中到小鼠。 给药、看它进到体内和组织、再看细胞因子这类标志物有没有按靶点预期变化。9
25 / 1:32:51 经济学：药片对针剂。 一个成功的药物候选物走完全程，低的两亿美元、高的十亿美元，而发现阶段只有几百万。所以「发现变便宜」本身不构成商业模式；它只有在改变成功率时才值钱。
26 / 1:36:32 科苏里悖论。 要建好模型得有大量好数据，可你有数据就能直接筛，那要模型干什么？伊恩的回答是：如果目标只是某一个靶点，科苏里是对的；但目标是下次不必再筛。公司历史上筛过约 2,000 个蛋白构建体、约 5,000 次筛。
27 / 1:40:38 效价能不能预测。 读数能给出相对排序，但换算 KD 会撞上怪事——有些蛋白其实会粘 DNA。他们正用 SPR 这类生物物理测量补这一块。
28 / 1:42:58 什么挡住了更有钱的实验室。 不是钱，是把批次效应、蛋白折错、条码干扰一个个追下来的文化与工具，以及让人愿意记录的无摩擦流程。
29 / 1:44:48 鲁玛卡托类命中是折叠探测器。 一批化学系列在所有蛋白上反复出现，长得像鲁玛卡托——那是把错误折叠蛋白重新折叠的药。于是它成了一个过滤器：拿到这类命中，说明这批蛋白没折对。
30 / 1:47:01 最想移除的瓶颈。 不是一个 GPU，而是能大规模并行的纯化（现在只有 HPLC 这类），好让大量分子进到另一种干净、可正交验证的实验里。
31 / 1:49:14 收尾。 他们在招机器学习的人，想和合作方谈，把这个「物理上扎根的底座」接到各种推理与生物医学应用上。
口径分层
- 官方文件可查：Leash 的 300 亿条相互作用、670 万颗分子、700 多个靶点；BELKA 数据集与 Kaggle 赛；Minos 的预印本与数据发布；Boltz 与 ChEMBL 的存在。12
- 媒体已报道：Endpoints 对 BELKA 结果的报道（「没有人做得好」）、公司与 Monte Rosa 的多靶点协议。6
- 只有节目里说过的：40 万亿颗的最大 DEL、130 亿/1,300 万条测试的具体数字口径、六个与十个人的团队规模、一万个 SAR 系列、两个月到六个月的蛋白准备周期、以及所有关于「模型在背外号」的解读。
- 口径出入：节目里说 Kaggle 数据集「约四十亿条」，BELKA 论文与数据集页给的是 3 targets × 3 rounds × 3 replicates × 1.33 亿颗 ≈ 36 亿条；两处差在计数方式（是否把重复轮次与分子数相乘的口径不同）。5
- 未决：读数和 KD 之间的换算、DEL 化学空间的成药性上限、以及「用语言模型做推理会不会真的抵抗记忆」——伊恩自己都说还没到。
逐句全文翻译
底稿是这一期的官方完整英文字幕（24,862 词，覆盖 00:00 到 1:49:57），按官方 31 段章节顺序译出。每段只保留中文译文，保留「伊恩／主持人」的说话人标签，不压缩、不摘要、不删减；两位主持人的具体姓名节目里没有逐轮标出，统一写作主持人。
01 / 0:00 开头
伊恩：我和联合创始人安德鲁·布莱文斯当时在 Recursion，正盯着一块屏幕上的一颗小分子，然后一位药物化学家从我们身边走过，他叫迈克·卡雷西。迈克说，嘿，这看起来像斯图尔特·施赖伯的分子。我们当时的反应是，不会吧，你就这么路过一眼，就能说出这是谁做的？这太可怕了。
伊恩：如果模型只看分子本身就能认出化学家，那也许模型能推断出化学家的意图。
主持人：那也就意味着，它们可能什么都没学到。
伊恩：不，它们确实学到了东西。它们没学到的是物理。
伊恩：我们把 ChEMBL 里所有化学家做的所有化合物和它们的活性都下载了下来，ChEMBL 是这类数据最大的仓库。筛的是发表过三十篇以上论文、六百颗以上分子的化学家。于是你拿到了所有这些分子和相关信息，一共是 1,815 位化学家。
伊恩：然后我们训练了一个分类器，只看分子本身，用来预测这是哪位化学家做的。我们拿到了前五命中率 60%。
伊恩：我们选择不用任何化学结构或分子式来表示这些分子，只用一条「作者概率」向量。于是它变成了一个一千八百维的向量，里面是「这是谁做的」的概率。
伊恩：你可以用这种表示再去训练模型，预测 ChEMBL 里的活性，效果和用分子式表示一样好。
伊恩：我们真的认为它学到的是大量的社会学，而不是真相。
伊恩：当你用别人留下的尾气去训练模型时，你可能会遇到麻烦。
RJ：欢迎来到 Latent Space 的「AI for Science」播客。我是 RJ·霍尼基，Mirror Omics 的 CTO，和我一起主持的是布兰登·安德森。
02 / 1:22 介绍
RJ：他在 Atomic AI 做 RNA 药物研发。
RJ：今天特别高兴能把伊恩·奎格利请到演播室。这一期会很好玩，非常期待。伊恩是 Leash Bio 的联合创始人兼 CEO，在我看来，他是过去几年里我最喜欢的年轻生物科技创始人之一。
RJ：从高层看，Leash 把认识论上的严谨、规模大得离谱的数据采集，以及对开放科学的坚定承诺放在一起，还写了一系列非常精彩的博客。今天我们会覆盖其中很多篇，我觉得这些博客真正讲清楚了，在一个极难的领域里该怎么用正确的方式做机器学习。
RJ：希望这期里能带出一些有意思的小故事。那我们先开始，谢谢你过来。正式开始之前，你有什么想先对我们说的吗？
伊恩：没有，谢谢，你说得太客气了。我们当初创办 Leash，是因为撞上了一个具体问题：要预测小分子和蛋白靶点的结合，结果发现外面的数据不太够用，于是我们出去，以还算合理的规模把这件事建了起来，想去正面解决它。
主持人：对。
主持人：所以是「还算合理的规模」。你们的起点是做一个叫 DNA 编码化合物库的东西。我见过的每一个碰过 DEL 的人，出来都带着严重的心理创伤。
主持人：我不知道有谁说过，DEL 是个好主意，我们做上几百上千个吧。所以为什么要做这个？在开始之前，也请先解释一下 DEL 到底是什么。
伊恩：好，好。做小分子药物发现，最终目标是拿到一颗小分子，或者一个很小的化学物，让它结合到你认为在某个疾病里制造麻烦的那个蛋白上，然后再往下走。
伊恩：有些蛋白很容易找到能粘上去的化学物，有些就难得多。一种做法是，把很多不同的化合物分装在很多不同的管子里，然后你把蛋白一根管子一根管子地浸进去，这基本上要花掉永远。
伊恩：于是很多年前有人提出另一种方案：也许可以把大量化合物放在同一根管子里，然后给每一颗小分子物理地挂上一小段 DNA 条码。你把蛋白像鱼钩一样浸进这管混合液，把结合上的那些拉出来，再对它们的 DNA 测序。
03 / 2:40 DEL
伊恩：这样一来，你能一次拉出很大数量的分子，不必承担走上大量管子、孔板和板子的物流开销。
伊恩：于是下游的结果是，如果一次一管地筛，世界上最大的化合物库也就是几百万这个量级；而用 DEL，已经做出来的最大的库是 40 万亿颗分子。做到那么大时会有些问题，但这确实是这项技术能去尝试的规模。
伊恩：你造这些东西的方式是组合化学：你有一批砌块，然后一块一块地把库建起来，但是以组合的方式。
主持人：没错，是这样。
伊恩：对。展开一点说，如果你有几百万颗分子，这真正意味着的是砌块的组合混合物，而砌块的数量会比最终产物的数量小得多。可能是平方或者三次方的关系。
伊恩：所以很常见的情况是，也许几千到几万个砌块，就能生成一个包含几百万颗分子的化合物库。这在某些方面是一种限制，因为你被锁在比较少的砌块里。
伊恩：但对机器学习来说特别好的地方是，你拥有了大量彼此非常相似的组合，差别也许只有一两处。所以你能做比较，能看出，哦，是这颗小分子的这一部分在驱动结合，因为另一部分我看到大量变异，却没有怎么影响行为。这一点后来被证明极其有用。
主持人：另一个方面是怎么读出结果，也就是 DNA 测序。这在这档播客里是个大主题，我们有很多嘉宾做的东西，某种变体都是：我们干一件很疯的事，然后把读取转成 DNA 测序的读出。
主持人：那这是怎么运作的，为什么它这么有用？
伊恩：对。我会说，在 Leash 有一句官话式的共识：如果你要去做生命科学的东西，并且要和机器学习方法结合，真正可规模化的技术只有一个，那就是拍照。测 DNA 是拍照的另一种方式。
伊恩：所以基本上就是拍照加 DNA 测序。如果你能把你那个棘手的问题，用其中一种方式铲进这个读出通道里就行。
伊恩：比如 Recursion 是真的给细胞拍照，还有一批团队也这么干，比如 InSilico 那类；其他几乎所有做空间组学之类的，都会做某种拍照和测序的混合，而测序本身也是拍照。
伊恩：会有一些做蛋白质组学的人不同意我，但我还是会争一句：规模还没到。
主持人：第一个劲爆观点。
伊恩：测序特别妙的一点是它便宜得要命。极其可扩展，技术非常成熟，我们在这件事上非常擅长。
主持人：确实非常非常便宜，而且一直在变便宜。中间有一段时间价格下降有点停滞，但现在一批新公司起来，又把价格压下去了。所以我们会看测序成本下降的曲线，这影响我们怎么想数据采集、以及我们在做什么样的规模。
主持人：很酷。所以你有一些组分，把它们混在一起，形成这种组合的分子混合物，而每一个组分都带条码，是这样吗？
伊恩：对。它们会彼此连接，因为它们是肽链或者氨基酸链，会点接到彼此的末端，然后折叠在一起，然后它们结合或者不结合你的靶点。
主持人：首先，你怎么知道它们结合上了你的靶点？
伊恩：这很像钓鱼钩的比喻。你的靶点是某个蛋白或者蛋白复合物，你要找能结合上去的化学物。它被固定在一个固相载体上。有人用各种不同的做法，我们通常的做法是把它挂在一颗磁珠上。
伊恩：然后你把这颗珠子浸进这一大锅小分子混合物里。在最容易的情况下，假设这个蛋白上有一个形状非常独特的洞，你把它浸进去，那一池化学物里有一小部分形状和电子性质合适，就会结合进这个形状独特的洞里。
伊恩：然后你把这个蛋白拉回来，你只拉出了洞里那些东西。冲洗几次，然后对出来的、在洞里的那些东西的 DNA 测序。
主持人：好。你说对 DNA 测序，基本上就是扩增那些条码，对吗？
伊恩：对。做一点 PCR，然后扔进测序仪。
伊恩：你现在大概在想：好吧，我得拿它跟什么东西比，才能得到相对富集的好测量。所以你确实必须设计一批好的阴性对照，回答「如果我只是把珠子泡进去，或者蛋白本身有某种黏性信号，会把库里某些化学物拉出来」这类问题。
伊恩：这些都要想得很清楚，并且拿你真正想找到结合物的那个东西，做一个合理的比较。
04 / 5:25 测序读出
主持人：那这是怎么运作的，为什么这么有用？
伊恩：对。在 Leash 有一句官话：如果你要做生命科学，又要和机器学习结合，真正能规模化的技术只有一个——拍照。测 DNA 是拍照的另一种形式。
伊恩：所以就两样：拍照和测序。只要你能把难题铲进其中一种读出口。
伊恩：Recursion 是真的给细胞拍照，还有一批团队也这么做；做空间组学的大多拍照加测序，而测序本身也是拍照。
伊恩：会有做蛋白质组学的人不同意，但我还是说：规模还没到。
主持人：劲爆观点第一条。
伊恩：测序特别妙的一点是极其便宜、极其可扩展、技术非常成熟——我们太擅长了。
主持人：确实非常便宜，而且一直在降。中间停滞过一段，现在一批新公司又把价格压下去。我们会看测序成本曲线，它影响我们怎么想数据采集和规模。
主持人：很酷。所以你有这些组分，混在一起形成组合的分子混合物，每个组分都带条码，对吗？
伊恩：对。它们会点接到彼此末端，折叠在一起，然后结合或不结合你的靶点。
主持人：首先，你怎么知道它们结合上了？
伊恩：这很像钓鱼钩的比喻。假设你现在，那个靶点是
伊恩：某个蛋白，或者某个蛋白复合物，你要去找能结合上去的化学物。它被固定在一个固相载体上。有人用各种不同的办法，我们通常的做法是把它挂在一颗磁珠上。
伊恩：然后你把这颗珠子浸进这一大锅小分子里。在最容易的情况下，假设这个蛋白上有一个形状非常独特的洞。你把它浸进去，那一池化学物里有一小部分形状和电子性质合适，就会结合进这个洞里。
伊恩：然后你把这个蛋白拉回来，你只拉出了洞里那些东西。冲洗几次，然后对出来的、在洞里的那些东西的 DNA 测序。
主持人：好。你说对 DNA 测序，基本上就是扩增那些条码，对吗？
伊恩：对。做一点 PCR，然后扔进测序仪。
伊恩：你现在大概在想：好吧，我得拿它跟什么东西比，才能得到相对富集的好测量。所以你确实必须设计一批好的阴性对照：如果我只是把珠子泡进去呢？蛋白本身有没有某种黏性信号，会把库里某些化学物拉出来？
伊恩：这些都要想得很清楚，并且拿你真正想找到结合物的那个东西，做一个合理的比较。
主持人：一颗小分子上，我们说的是多少个条码？
伊恩：好问题，这有几件事。如果想钻进 PCR 的细节里：你在做大量 DNA 拷贝时，序列里有微小的偏差，会让某些拷贝扩增得更快。
05 / 9:14 条码与对照
伊恩：所以要把这部分控制掉。你放进去一小段独特序列，等拷贝很多时，你就能把它们折叠回同一个来源，确认它们真的只来自那一次事件。
伊恩：条码上还有一堆我们担心的事。你把蛋白泡进去时，有些蛋白会粘 DNA，因为那本来就是它们的工作——很多蛋白的职责就是和基因组、和细胞里的 DNA 相互作用，把东西打开或关掉。
伊恩：而你这个实验里满是 DNA，扔进去一大堆，这就有风险。
主持人：这会造成假阳性，对吧？
伊恩：非常会。很多人抱怨这个，这也是所谓「DEL 噩梦」的来源之一。有各种办法应对。
伊恩：我们做的一件事是：每一颗特定的小分子，都有大量条码同时编码它。你说这是一颗小分子，很好；现在我们用 32 或 48 条不同的条码，全都编码这一颗小分子。
主持人：我明白了。
伊恩：所以单独一颗分子带这条条码，和它化学式完全相同的邻居带另一条条码，依此类推。
主持人：所以如果它们之间出现差异，你就知道结合的是 DNA，而不是——
伊恩：对。对听众里懂 DNA 蛋白结合的人来说，这还有个好处：因为里面有 DNA，你能看到某一条编码条码结合得远远好过其他所有条码，尽管它们都是同一颗小分子。
伊恩：然后你可以去看在那里富集出来的序列，把那类蛋白已经被描述过的 DNA 结合偏好还原出来。
伊恩：比如这是一个转录因子，它结合的是一段被描述得很清楚的六到八个核苷酸；你从这个实验里把 DNA 序列捞回来一看，太好了，我们找到了共识结合基序。
主持人：对。
伊恩：所以我们可以认为这个蛋白大概是做对了。
主持人：你有了识别出的条码，又用刚才说的办法把假阳性去掉了。
伊恩：于是对某个给定的组合、某个给定的小分子，我知道它结合了我的靶点。但你分子上挂着所有这些 DNA 标签、条码标签，不会影响吗？
伊恩：会，它们很笨重。这也是人们对 DEL 的另一条抱怨。这里有几种答案。一万英尺高的哲学答案是：你想跑这类实验，理由本来就有好几种。
06 / 11:51 带不带 DNA
伊恩：一个理由是，你想拿到行为符合预期的小分子材料，把它推进药物项目。如果那是你的主要目标，你就要确保「带 DNA 条码」和「不带条码」之间有某种保真度。
伊恩：这确实是真的。当我们真的去追有意思的化学材料时，你至少要付出把化学物在没有 DNA 的情况下合成出来的工作量，还要跑功能性实验。这里面有一定比例的损耗：在我们手上容易的东西大约 90% 能成，难的只有 50%，所以会有损失。别人有别的经验。
伊恩：但我还要说，如果你做这件事是为了给机器学习训练准备数据，那么所有这些带 DNA 条码的化学物就在管子里，你跑了实验，有一部分结合了、一部分没有，那就是你从物理世界里真正测量到的信号。
伊恩：所以你只需要让模型去条件在这条条码存在这一事实上，然后继续做训练就行。
伊恩：在我们手上，当我们重跑实验——重新做一批蛋白、重新做一批化合物库，跨越很多个月——大部分情况下我们拿回来的命中是同样的、顺序也是同样的。所以它可重复、稳健。就真实信号而言，我们感觉相当好。
主持人：好。
伊恩：你可能会想，你的假阴性是不是因为条码把口袋挡住了。但你不必这么想，因为你知道 DNA 就在那里。它没有结合。你的思路是：我是在想这颗分子在没有 DNA 时会怎么表现，但我们都清楚它就在那儿，我们不去假装它不在。
主持人：哦，我明白了。所以你们的命中是包含 DNA 的吗？
伊恩：对。我们训练模型时，会放一个占位符，标记 DNA 所在的位置。
主持人：那如果你要把这个分子合成出来做药，还会留着它吗？
伊恩：不会。就像我说的，正是在那里产生了那些损耗率。你得把它造出来，有时表现就不一样了。不是总是，但有一部分会。
主持人：懂了，懂了，懂了。
伊恩：你只需要理解这一点。
主持人：其实这些是很好的问题。
伊恩：这些是很好的问题。确实有很多反对意见，这也正是很多人正在做我们要做的事情的原因。
主持人：我想回到我最初的说法：我从来没遇到过做过 DEL 的人说，我们应该多做几次。
伊恩：哈。对，对。
主持人：我希望我们能谈到我为什么真的为这条路看起来走得通而兴奋。希望在这期结束之前，听众会同意我。其实说个私人轶事：我们有个共同的朋友，我印象里是 Leash 的天使投资人。他告诉我说他投了一家成人公司的时候，我开玩笑说，好吧，那这笔钱你是见不到了。
主持人：我今天当着所有听众的面说，我错了。我真希望我当初听他的。我好奇的第一件事是，为什么 DEL 这么难？我们刚才其实已经覆盖了不少，历史上做 DEL 的那群人，到底做了什么让这个体验这么有创伤性？然后你为什么觉得你能克服它？
伊恩：有一点我想说的是，DEL 被发明出来的时候，测序还更贵，做测序实验在当时确实像一次很大的物流和财务上的冒险。
伊恩：而当这项技术在当年被建起来、并被指向当年那些问题的时候，它面对的情形非常明确：我们想找到能结合到非常困难的靶点上的新化学材料。这就带来几个战术层面的问题。其中之一是，传统上人们不会去筛大量的蛋白靶点。
07 / 15:24 路线
伊恩：他们通常是对某个真的很难的东西感兴趣，想找到化学材料。他们可能已经试过一堆别的技术，都没成。好吧，那就试试 DEL 筛一次，因为我们手里什么都没有了。
伊恩：然后他们会去做要拿来筛的那个蛋白，投入很多功夫，因为做一次 DEL 筛感觉像一件大事。他们可能花两到六个月去长大量自己关心的蛋白、做一堆纯化，也许还要跑功能性实验来说服自己：它真的得有这么好，我们才值得去做这次筛。
伊恩：等到真跑筛的时候，他们会尽量把拿到好化学材料的概率最大化。于是激励把人推向一个地方：我们要一个大 DEL，我们要很大的多样性。
伊恩：所以如果你去看那些提供 CRO 服务的、或者内部的 DEL 团队，很多时候他们会把你推向非常巨大的 DEL，希望就在那里，这就是他们的动机，也很说得通。
伊恩：我们做的非常非常不一样：我们筛的是成吨成吨的蛋白，我们并不那么被「为某个特定靶点找到单个结合物」驱动，那个靶点也许对某个项目很有价值。我们只是想在大量蛋白上拿到成吨成吨有活性的化学材料。
伊恩：这样一来，我们就能非常清楚地识别我们的 DEL 是怎么表现的，因为我们的每一个化合物库都会被拿去筛几百个靶点。所以你是在给化合物库做表征，把库本身认得更好。
伊恩：我们就开始遇到大量这类基序，它们是化学设计或者生产过程中的怪癖。一个很好的例子是，我们有一个化合物库，做过好几次，尽管化学上是同一个库，它的表现就是不一样——而这一点，直到我们拿它筛了几百个蛋白才发现。
伊恩：然后你得盯着那些结果说，好吧，现在我们看到这些基序出现得多了一点。随着你对这个库的表征越来越充分，它真的能帮你评估，也能帮你排查问题。
伊恩：随着你对这个库的表征越来越充分，它真的能帮你评估，甚至帮你排查蛋白生产过程本身的问题。
伊恩：我们觉得这件事总体上可做的一个原因是，我和公司里好几个人是从真正的基因组学方法开发背景出来的，而不是化学背景。
伊恩：所以我们知道要调整实验方案、要从这些古怪的实验里榨出好信号，大概需要做什么。
伊恩：我会说，是这个，再加上在 Recursion 的很多年。我上家和联合创始人安德鲁·布莱文斯，还有团队里不少人都在那里。我们都在高维生物学里犯过很多错，在黑暗里乱撞，搞清楚到底有哪些失效模式会让模型在高维成像数据上作弊。
伊恩：所以我们对这类事有种直觉：这个方向上会有这些噪声源，我们必须一路追下去；还有，你能不能预测出这份数据是哪台仪器跑出来的？如果你能，那就非常糟。
伊恩：我们把这套思考全部带到了现在这个实验上，而且我们感觉之前的人没有真正这么细致地盯过它。
主持人：这要回到我们做 Ron Alfa 和 Noetik 那一期，我发现……
伊恩：黑手党。
主持人：对，Recursion 黑手党。我发现你们两家公司有种精神上的相似：那种认识论上的严谨，非常仔细地检查自己在做的每一件事，用不同的方式做，而且这些方式是半重叠的。我很好奇——我们问过这个——非常数据驱动、大规模、自动化。我想问的是，这是不是就是 Recursion 的文化？
伊恩：是的，尤其早年。我会说有四家 Recursion 黑手党公司，它们读起来都押韵。
伊恩：我们；Ron Alfa 的 Noetik；Viswa Colluru 的 Enveda，还有 August Allen、Hana Gordon、Dave Healey 这些很棒的人；还有 Known Medicine，由凯蒂-罗斯·斯凯利带着，几年前被 PAS 收走。
08 / 19:19 黑手党
伊恩：这些公司基本上都在看不同的有意思的生物学问题，测量都极其嘈杂，然后从 Recursion 拉人过来，因为我们挺擅长在噪声里干活。那就试试能不能从这个角落里榨出信号。
伊恩：对我们来说是小分子化学问题；对 Enveda 来说是天然产物混合物，他们做很多质谱类的东西；然后是 Ron，还有凯蒂-罗斯的团队。我们都很像。
主持人：我们先停一下。你们到底做什么？
主持人：太好了，抱歉，我太兴奋，直接跳进来了。抱歉。
伊恩：我们是做小分子机器学习的公司。意思是，我们去采集海量的小分子与蛋白靶点结合的数据，用它推动机器学习对这一类事情的理解。
伊恩：我们也把小分子材料推给合作伙伴，往前推向病人。
主持人：给不熟悉的听众说说，什么是小分子？我们为什么关心它？它和其他疗法有什么不同？
主持人：这问题好。
伊恩：当你试图给某个东西做药时，我前面说过，你体内有一个感兴趣的蛋白，你想去和它相互作用，用某种方式影响它的行为。市面上目前在用的有几类东西。
伊恩：常见的一类是抗体，由细胞制造，是大分子。所谓大，就是它大到很难进入细胞内部，也很难做成药片。所以抗体治疗或者 GLP-1 这类蛋白治疗，你基本上得打针。
伊恩：它能作用于那些它容易接触到的蛋白，但细胞内部还有很多驱动疾病、对它来说很难够到的蛋白。
伊恩：在很多方面更吸引人的做法是，不要这个蛋白做的大东西，而要一个小化学物。小分子可以做成药片，可以进入细胞内部影响行为。它们构成了大多数药物。你家里要是有药片，几乎肯定是小分子。
伊恩：在那些用机器学习做药物发现的团队里，就治疗本身而言，我们——我是说 21 世纪所有的生命科学家——在预测和实现蛋白类药物行为上已经相当不错。
伊恩：所以有一批抗体公司，比如 Isomorphic 做这个，Chai、Nabla 也做。有很多非常聪明的团队在推这些问题，部分原因是我们理解蛋白行为、或者有足够的数据，让这些公司做设计能相当有效。
伊恩：我们的论点是，这些能力在小分子路线上其实还不存在。这也是我们创办这家公司的原因之一：我们觉得可以认真地去做这件事。
主持人：小分子的一大特点就是它哪儿都去，在你体内。这既是好事也是坏事。
09 / 20:51 小分子
主持人：小分子的一大特点就是它哪儿都去，这既是好事也是坏事。
伊恩：对，它能穿透进细胞，也更容易穿过肿瘤的防御、穿过血脑屏障；但与此同时，因为它什么都干，它更容易有毒性和其他副作用。
主持人：非常正确。所以小分子过监管的路，可能比抗体更凶险一些。抗体我们现在相当清楚它在体内怎么表现、什么会引起问题、什么不会。
主持人：而小分子有一堆被描述得很清楚的问题：比如可能造成肝损伤，可能造成心律失常。
主持人：而作为一名药物化学家，工作就是把分子从一个「在管子里看起来还行」的东西，做成一个你敢给人用的东西。这里面有很多坑，他们得做大量工作去避开：先确保我的分子不引起心律失常；如果我改动它来止住那个问题，会不会又影响它做我想让它做的事？
主持人：你们的模型怎么帮助解决这个更大的开发问题，以及这些下游问题？
伊恩：一种理解方式是……
伊恩：在相当一部分问题里，这类脱靶毒性是由你的小分子以某种方式结合到别的蛋白上驱动的，而那种结合你也许可以预测或识别出来。
伊恩：所以我们正在大力推进的一件事是：把这些蛋白也做出来，用我们的化学去筛这些蛋白。
主持人：如果你有一个巨大的、针对不同蛋白的测定，加上一个化合物库，这看起来挺有用的。
伊恩：对。说我们的愿望是把每一个蛋白都筛一遍，然后还要走出人类，这完全不夸张。
伊恩：一方面是为了让蛋白有变异，另一方面是去识别：也许你不该跑小鼠模型，你该跑大鼠，因为你的化学材料在不同物种里表现不同，因为那些蛋白可能略有差别。
伊恩：所以你想做这些事。但没错，去追大量这样的东西，能让你想：好吧，现在我有我的化学材料，我也知道这一堆化学物里，哪些、哪种变体会结合这些东西，从而引起别的毒性问题。
主持人：明白了。
伊恩：再往下游，还有一大堆别人也在做、更偏「涌现行为」的测定：它可能不是单个蛋白，而是它穿过细胞膜的能力，是它以一种更复杂的方式相互作用、需要细胞才能评估。
伊恩：比如为了心律失常那些事，可能要用心肌细胞。这些现在有很多团队在推细胞层面的测量技术，那比我们现在专注的层面又高一层生物学抽象。
伊恩：但我们愿意认为，对生物物理本身理解得好的模型会有用，将来也许能在更小的数据集上微调。
主持人：再往回跳一下，稍微进到模型里。为什么是 DEL？至少在我们看来，DEL 是测量小分子相互作用最可规模化的技术，因为你可以把几百万颗放进一根管子。
伊恩：还有一件我们没提到的事：这些化合物库用池化流程做出来时，很可能有一些反应不完全，你以为什么就有，标签的翻译可能稍微偏一点。
伊恩：所以我们在构建化合物库时设计了很多对照来减轻这个问题。当人们用所谓的阵列库——一颗化学物一根管子或者板上的一个孔——研究这些标签有多准时，你希望它们是准的；但当人们去检查，通常偏差 20% 到 30%。这是巨大的错误标注问题。
伊恩：我们认为 DEL 大概也差不多，也许更糟。而 DEL 本身的规模就是极其极其大。也许我讲个短故事，反正我们后面肯定会讲到。
10 / 26:22 规模
伊恩：总之，两年前我们办了一场 Kaggle 竞赛，决定为这场比赛生成数据，然后公开出去。
伊恩：当时——也就是两年前——有一个数据库叫 BindingDB，是当时最大的「小分子与蛋白靶点结合」的聚合集合，相对于细胞或其他东西而言。它大约不到三百万条物理相互作用。
伊恩：我们放出了一个约四十亿条物理相互作用的数据集，全部由一个人在我家的地下室里测出来。
主持人：是啊，早期的博客特别好笑。你简直有图为证。这不算车库创业，但确实在地下室。
伊恩：是一间地下室公寓，天花板大概七英尺高。
主持人：看着就让人幽闭恐惧。我从没见过生物科技创业公司是在地下室里起步的。
伊恩：差不多就是这样。
主持人：这场 Kaggle 竞赛我觉得是个特别有意思的故事，因为你抱着那么高的期望进去。
伊恩：确实。
主持人：而且这是那种认识论严谨非常好的案例：你不是随便给一个随机切分的训练集测试集，你很仔细地想了怎么组织这场比赛、怎么跑、怎么公平地评估。能谈谈那个过程、你做的决定，以及结果吗？
伊恩：好，很乐意。我们远不是第一个试图评估「能不能用计算机对小分子结合做合理预测、然后再检验这些预测」的团队。
伊恩：这方面论文很多，比如我们创办 Leash 之前几年，X-Chem 和 Google 出过一篇很经典的论文。我们自己也在公开数据上做过很多实验，我们怀疑其实没有人真的做得很好。
伊恩：所以我们想组织这场比赛，特别是把评测设计成能在各种难度上真正检验它——因为我们想，会有很多人来参赛，有些很强，有些大概是新手。
11 / 28:21 BELKA
伊恩：我们要确保里面有一些容易赢的东西，中间一堆有点难的，然后是顶端那种我们想象中最难的。
伊恩：展开一点：我们说过这些库是组合式的，所以是数量较少的砌块，配上大量的组合。我们从一个很棒的赞助方手里拿到一个化合物库，他叫肖吉·娄，在上海经营一家叫 AlphaMol 的公司。
伊恩：这个化合物库大约一亿三千万颗分子，分子的中心部分你可以想象成一个轮毂带三根辐条，中心轮毂对每颗分子都一样，是一个叫三嗪的化学基序。
伊恩：所以我们说：好，中心轮毂定了，三根辐条在这里，对评测集，我们设几种不同的切分方式。
伊恩：一种是我们说，这些化学物可以共享一个砌块、共享一根辐条，另外两根不同。好，这是一件事，我们让一部分这样。那是容易的部分。
伊恩：另一种是我们说，也许我们不让它们共享任何砌块，但我们知道它们来自这个化合物库，所以共享轮毂，于是可以想象有些辐条是相似的，但不完全一样、也不共享。我们觉得这会更难一点，听起来不错。
伊恩：第三种、也是最难的评测，我们用了一个完全不同的化合物库，是我们自己在 Leash 设计的：没有共享轮毂，没有共享砌块，不同的连接化学，什么都不一样。
伊恩：于是我们想，好，我们按不同比例放这三种。我们不会告诉任何人我们这么做了，我们只说这里是评测集，看看会怎么样。
伊恩：然后我们上线了比赛，那是两年前。你们可以去查，我们写了很多。两千支队伍比完之后，赢家在共享砌块的那部分上——你知道——做得不错；在依赖目标的情况下，我们也在没有共享砌块的部分看到了一些性能提升，但核心轮毂仍然……
伊恩：共享砌块那部分，三嗪还在那里。而到了最难的评测，没有人比瞎猜更好。
主持人：赢家是不是就像第一千两百名那种随便什么人，交了个 Jupyter notebook？
伊恩：其实是这样：赢家叫维克托·施拉波夫，他用了一个稍微不同的方法，他的东西确实不错，但和所有人一样，没有超过瞎猜。前五名里有三个是有噪声的教程 notebook。
主持人：先说清楚，Kaggle 比赛通常有一个公开评测让你训练和测试算法，然后还有一个不公开的。
伊恩：对，比赛用它来打分，你只知道分数。
主持人：那你们的库是在公开集里吗？
伊恩：它被藏起来了，就是为了让它刺激一点。
主持人：好吧，而且确实刺激。
主持人：那你从中拿到了什么？教训是什么？先说，你本来希望从中得到什么，然后它怎么影响了你们往前走的思路？
伊恩：我们有几个希望，也有几个恐惧。坦白说，我们放出的这个数据集比任何人见过的都大一千倍；我们给了大约 5% 的概率，认为共折叠这类最新进展会让我们的公司整个变得多余。没发生。
主持人：没有发生。
伊恩：但我们当时想，好吧，有个小概率我们是在彻底搞错，而它没有发生。我们更怀疑的是大家其实不擅长这件事，数据可能会有帮助，所以我们希望看到这一点。
主持人：无论如何，你会想知道这个。
伊恩：你会在投入人生十年之前想知道。
伊恩：当然。还有一件我们想知道的事：把分子表示给计算机有很多种方式。你可以用 SMILES，也可以做三维图，还有各种奇怪的球面卷积网络，人们试过各种古怪的办法来表示分子。
12 / 32:32 Kaggle 教训
伊恩：我们确实鼓励参赛者，尤其是化学背景的：去试试这些不同的表示，看看会怎么样。
伊恩：让我们很感激的是，我们在做的、最基础的那种 SMILES，打败了其他一切。不是压倒性的大胜，但足够好到让我们继续用这条路。
主持人：如果我记得没错，SMILES 基本上就是一个文本序列、一串字符串，它不编码任何三维结构，全是从里面涌现出来的。
伊恩：它就是图的遍历，翻译成一个文本字符串。你可以从图的不同位置开始，所以他们有规范 SMILES 和非规范 SMILES 之分，取决于你从哪开始。但它是一种极其简单的表示。
伊恩：我们当时在想，这些更花哨的分子表示方式，会不会至少在这个特定问题上打败它，结果完全没有。
主持人：那你的结论是要全力押上去？这件事是鼓励你还是打击你？Leash 当时集体的情绪反应是什么？我一直很好奇，因为你后来写了好几篇后续文章。
伊恩：这是个好问题。我们是「苦涩的教训」的重度信徒。所以我们的想法是……
伊恩：其中一部分是某种欣喜：哇，这比我们想的难多了，这挺好。因为这问题要是和我们知道的所有其他问题一样——只要你能从可规模化的测量体系里拿到相当好的信号，你就该去把那个信号拿到。
伊恩：对我们来说，这相当有验证性：天哪，我们这儿有个机会。
主持人：尤其是当你的可规模化测量体系本身很难、而你有专门知识去做它的时候。
伊恩：绝对的。就像，天哪，现在是往这件事上浇油的时候。这太好了。
主持人：太棒了。所以你们就说，好，全力。开始采数据、采数据、采数据。
伊恩：对。
主持人：你们这么做了一段时间，然后下一步是什么？也许先说在这个过程中学到了什么，然后引向你们第一个有用的成果。
伊恩：从过程中我们觉得有几点非常非常有用。一点是我们意识到，那场 Kaggle 比赛只基于三个被研究得相当透的蛋白靶点。而要在新蛋白上拿到性能，很可能意味着我们得做多得多的工作。
伊恩：所以我们一直被这件事驱动，但那场比完更强调了：天哪，我们得做很多蛋白，对吧？
伊恩：另一部分是，我们以为拥有这么大量的分子——一亿颗的库——会有帮助，但事实是，把一个更小的库表征得更好，帮助更大。这也是我们做出的一个战略选择。
伊恩：这一点其实相当重要，因为你的预算是固定的。你要么花更多钱在测序上，把手里这个小一点的集合测到更高分辨率；要么去拿更多分子，然后指望噪声会被平均掉。
13 / 35:44 更好的数据
伊恩：对，固定预算真的会影响你的战略选择。我们要的是在两个轴上都有大量变异，而不是只在一个轴上、配几个蛋白。
主持人：抱歉，是哪两个轴？
伊恩：就是化学物的数量，对上蛋白的数量。所以你可以想象：我要在十亿颗化学物上做三个蛋白；或者我该做几千个蛋白配几百万颗。
主持人：几百万颗大概是造出来最小的那些格子了。
伊恩：相当小。我见过最小的一个是五万颗分子。
主持人：好吧，你可以定制一个 DEL。
伊恩：你想怎么做都行。有这项技术，就去做。两个砌块也可以。
伊恩：对，你爱怎么做都行。所以好的一点是，你对库的大小、库的特性，还有我刚说的条码问题，都有极大的控制力，可以往上加东西。
伊恩：我们在自己的 DEL 上花了很多心思做各种「铃铛和哨子」，去提升性能、提升信噪比。
伊恩：回到 Kaggle 的教训：对我们来说很清楚的一点是，模型可以靠记住单个砌块来提升表现。这一点相当清楚。
伊恩：还有一点也相当清楚：它们可能——大概是通过记忆——形成一种概念，如果你有一个非常相似的砌块，它可能会有相似的行为。这些也是那些性能指标的一部分。
伊恩：然后就是：有些东西离得很远，在当时的条件下，它们就是做不到。
伊恩：当我们放出这些结果，基本上说「没有人比瞎猜更好」时，确实收到了一些反弹：你们这比赛里有高手参加吗？也许所有人都很差，也许全是研一学生。
伊恩：所以我们就干脆把全部数据放了出去：外面谁觉得自己很行，请来给我们看，因为我们想解决这个问题。但到目前为止，我们还没看到有人在那上面表现得很好。
主持人：你说全部数据，包括原始读数计数之类的一切？所以你可以走一遍说，这不只是处理错误，你可以从原始数据开始用。
伊恩：你可以用我们的二值标签，你也可以自己做。所有的评测、所有东西，全都在 Polaris 上。那是一个 Recursion 运营的非营利组织，谁都能用，请用吧。我们是有意公开的，希望社区能好好利用。
主持人：你觉得这个数据集的结构本身有没有根本性的限制，也许不做某种外部增强，谁都不可能比大家已经做到的更好？
伊恩：我认为，如果你有真正完美的结构理解，或者有非常好的结构模型，那你应该能做不错。因为如果我们都有模型真正理解了小分子氨基酸之间相互作用的物理，那么训练集里小分子的分布长什么样就不太重要了。
伊恩：当我们看到结构模型的预测，人们说「我在 PDB 上做了时间切分，我们的模型从没见过这些分子或这个蛋白」，然后希望能用这种理解做出合理的折叠——那非常符合在这里做预测的精神，因为没人见过这些东西，特别是我们内部的分子，之前没人见过。
主持人：很酷。所以 Kaggle 那场，你们上了一课，然后全力采数据、重整、承诺规模化。
伊恩：对。
主持人：大概六个月后，你们发布或者说写了一篇关于模型 Hermes 的博客。
伊恩：对。
主持人：跟我们讲讲那个，以及里面的一些心得，尤其是你怎么评估它，我感觉你在那个模型上花了非常多心思。
伊恩：Hermes 最初是 Leash 一位数据科学家马克斯·克莱因萨瑟的想法，还有肖恩·弗朗西斯-里昂，当然还有 CTO 安德鲁·布莱文斯。
伊恩：最初的想法是，我们有一堆数据，在考虑怎么切分、用什么样的训练流程，所以想做出一个极其极其简单的模型，好让我们能做很多次实验迭代。
14 / 40:15 Hermes
伊恩：它的目的不是做成一个最先进的模型，而是：我们想快速试东西。所以我们建了 Hermes。
伊恩：Hermes 的基础架构是两个不同的嵌入。一个是进化尺度建模的 ESM 嵌入，那是一种蛋白嵌入，来自当时在 Meta 的一个团队，后来他们出去自己创业，最近被陈-扎克伯格基金会收了。
主持人：我们播客请过亚历克斯·里夫斯，想听更多可以回去翻那一期。谢谢你，亚历克斯，如果你在听。
伊恩：蛋白这边我们用了那个。化学这边我们用了另一种嵌入，叫 ChemBERTa，基本上就是一个预测下一个 token 的化学模型。
主持人：预测 SMILES 的那种？
伊恩：对，就是预测 SMILES token。就这些。两个非常非常简单的嵌入，然后用交叉注意力把它们拼在一起，就完了。然后用它预测一个二值标签。
主持人：最简单可能的东西。
伊恩：简单得难以置信，非常非常小，然后我们在数据上训练它。
主持人：其实也不是最简单的，你完全可以在这些嵌入后面接一个 MLP，而不是交叉注意力。为什么用注意力？
伊恩：用注意力的想法和我们之前在蛋白结构的图卷积模型上的一些经验有关。
伊恩：我们注意到，如果你有这类图，我们做过的一些工作里打乱那些位置坐标，某些模型的性能几乎没变。这让我们觉得注意力非常关键。
伊恩：所以我们最后就确保模型至少会去看蛋白和小分子结构的不同部分，希望这些部分在这里有用。
伊恩：这个问题在图像生成里常常被叫做毕加索问题：比如 CNN 曾经很有名，你只要把一张图的特征打乱——像毕加索那样把鼻子翻过去、把眼睛转个方向——CNN 仍然会说这是毕加索，因为它只抓到了局部的单个特征，而没有抓到某种全局结构。这在中小分子领域一直是个问题。
伊恩：小分子药物发现里这个问题已经存在一段时间了：模型常常抓到局部基序，而对整体拓扑没有任何理解。
伊恩：特别是像 DEL 这种由单个砌块组合而成的结构，你能想象模型分别学每个砌块，最后基本上就是三个砌块之和之类的。概念很简单。
伊恩：对，交叉注意力。
主持人：某种意义上，它逼着某些分子去和蛋白里的某些残基相互作用。
伊恩：对，或者至少说，它提供了这个可能。可以把它理解成一种归纳偏置。
伊恩：我们当时在想怎么评估这件事，于是用了和 Kaggle 比赛类似的手法：有训练集和我们内部生成的数据，然后去看更远的化合物库。同时我们也想设计不同的切分来探 Hermes 的行为。
伊恩：因为 DEL 是组合式的，你可以做同样的事：让某些砌块共享。我们这么做了，性能当然更好，我们怀疑那是记忆。
伊恩：另一件事是，你可以想象有些砌块彼此非常相似，如果你只按它们的身份来切分，那些足够接近的东西就有可能让记忆或别的作弊模式转化成预测能力。
伊恩：所以我们设计了一个方案，对这些砌块做聚类，按相似性把砌块聚成簇，然后避免整簇在训练和测试之间重叠。这么做之后，性能确实掉了。
伊恩：你也许想问的是：我们在这里用了大量合理的基线——对几乎每一件我们做的事，都会用 XGBoost。你总该跑一个这样的东西看看情况。
主持人：每个年轻的机器学习从业者都这样：花六个月优化心爱的模型，然后有人路过跑了个 XGBoost 或者随机森林，说，哦对，这个六个月的活已经被它打败了。
伊恩：对。所以我们做了这些不同的切分机制，去评估各种做法相对于 XGBoost 的表现。
伊恩：有件事让我们非常欣慰：随着你用砌块聚类的办法走得越来越远，XGBoost 的性能稳定地掉。共享两个砌块是一个水平，只共享一个就更差，一个都不共享更差，砌块簇都不重叠则更差。
伊恩：然后我们拿它和 Hermes 的表现比，Hermes 在所有这些机制下都相当平稳。
主持人：明白了。
伊恩：这让我们觉得：你得真的走出分布很远，XGBoost 才会彻底崩掉。这件事我们写进了几篇东西、几张图里，但没怎么大声讲。
主持人：等等，你们不是有一篇博客叫「XGBoost 就是你要的全部」吗？
伊恩：对，对，所以我们才做那个。
伊恩：跑这些切分是我们想了很久的事：你怎么才能不让模型真的去记东西？
主持人：这里也许可以岔出去一下，引用你另一篇博客——按我自己的经验，那篇太好笑了。我见过机器学习模型抓各种奇怪的伪特征。你写分子归属、作者的那篇，是个特别好玩的故事。
伊恩：就是那篇 Clever Hans。
伊恩：很多年前，我和联合创始人安德鲁·布莱文斯在 Recursion，盯着一块屏幕上的小分子，然后一位药物化学家走过，他叫迈克·卡雷西。迈克说，嘿，这看起来像斯图尔特·施赖伯的分子。
伊恩：我们当时就想，不会吧，你路过一眼就能说出这是谁做的？太可怕了。这件事在安德鲁心里搁了很多年。
15 / 46:24 聪明汉斯
伊恩：大概六七年。我们开玩笑，每隔几个月出去喝酒就说：天哪，我们真的该搞清楚这个问题有多严重。
主持人：为什么这是个问题？
伊恩：这个问题严重在于，很容易想象你要训练模型去理解化学。你会从很多团队那里拿数据，因为从很多团队拿数据非常诱人。
伊恩：如果模型只看分子就能认出化学家，那模型也许能推断化学家的意图，那也就意味着它们可能什么都没学到。
主持人：不，它们学到了东西。
伊恩：它们没学到物理。它们没学到你想让它们学的那件事。所以我们真的很怕这个。
主持人：它们学到的是某些化学家比另一些更厉害。
伊恩：对，学到各种各样的事。给听众铺垫一下：我们把这件事在圣诞假期发了出来，你可以去查。我们有排行榜，还有一个好玩的在线小游戏可以玩。
伊恩：我们把 ChEMBL 里所有化学家的所有化合物和活性都下载了下来。ChEMBL 是这类数据最大的仓库。筛的是发表过三十篇以上论文、六百颗以上分子的化学家。于是你拿到了所有这些分子和相关信息，一共 1,815 位化学家。
伊恩：然后我们训练了一个分类器，只看分子本身来预测化学家，前五命中率 60%。这是个非常非常容易的问题。模型做起来超级容易。
伊恩：它们会搞混的地方，是两位化学家出现在同一批论文里、在同一个机构。所以我们认为很可能存在一种个人独有的化学签名风格。当这些人有学生或者受训者，学生就会继承其中一部分。
伊恩：这本身就够可怕了。而这个数据集是很多很多学术项目、很多博士生训练过、试图从中找规律的数据集，是这个领域的一个主要数据集。
主持人：对，如果你不自己产生数据，你用的就是这个。如果你自己产生数据，那你大概也会受害，因为你的机构里大概有多个化学家，各有一套风格，用各自的风格去做不同类型的项目。
主持人：但关键在于，那些化学家往往也在解决相似的问题。我可能在这个行业里干了很久，我有我的风格，同时我也在做某一类问题，所以你的风格也连着你的……
主持人：你学到的是风格，而不是问题。你学的是这个问题的社会学。
伊恩：你还学到一件事：在这些机构里当化学家，订一颗分子去做合成和测试是件麻烦事。于是你会做很多选择：有哪些东西你不去做。而这些你没写下来。
伊恩：他们的动机就是这样：我们团队做不了；能做，但太贵；化学团队会说现在做不出来；或者我们手里没有那个砌块。
伊恩：或者我觉得它不会成。有各种理由让你不做某个选择。而不做那个选择本身就是一个指纹，会落在最终做出来的东西上。
伊恩：所以你跟药物化学家聊，他们当中有些人——愿上帝保佑——非常迷信。有些人会说，哦，这个砌块在那个进了临床的项目里管用，我特别喜欢它，也许它有助于溶解度，所以我要把它放进我喜欢的东西里。
伊恩：于是你的模型就学到：哦，这位化学家喜欢这个，因为它被放进去了，所以它大概有用。模型就学到了这一堆奇怪的东西。所以我们非常怕这个。
伊恩：于是我们跑了那个识别化学家的模型，然后选择不用任何化学结构或分子式来表示分子，只用一条「作者概率」向量。
伊恩：现在它就是一个一千八百维的向量，里面是「这是谁做的」的概率。你拿这个表示去训练模型预测 ChEMBL 里的活性，效果和用分子式一样好。
主持人：只按社会学来。
伊恩：对。把两者合起来也没有明显更好。所以我们真的认为它学到的是大量的社会学，而不是真相。
伊恩：它学到的是做这些分子的人做出的选择和留下的指纹。这不是在贬低他们，那本来就不是他们的目标。他们的目标是用最少的化学系列拿到两个药，当然会这么做。但当你用尾气训练模型时，你可能会遇到麻烦。
主持人：所以这意味着这不是一个好的机器学习训练集。
伊恩：我们不认为它是。
主持人：有趣的是，我自己也吃过很多类似的教训。众所周知，分子量这类东西——你只要按分子量排序就行，它可能是你能拿到的最大的单一预测因子。CASF-2016 里不就是并列第一吗？
主持人：是并列第一，第二名非常接近。
伊恩：所以所有这些拿出花哨机器学习模型的人，你只要按最重的分子排一下序，重分子更容易找到结合物。
伊恩：但这不是化学的内在属性，这是数据集的属性。
主持人：是「什么被做出来、什么被测试」这件事的社会学属性。
伊恩：对，也是药物化学家工作方式的属性。
主持人：更重的分子更容易结合。
伊恩：很多时候是因为他们在优化其他性质。你也大概有想说的部分。
主持人：基本上是：一位化学家找到一个命中，然后开始优化，他说，我假设这是结合位点，那我加这个官能团让它结合在这里。结果结合更强了。那再加另一个官能团去结合那个东西。
主持人：最后就是一直加，加到味道足够好为止。
伊恩：对，直到足够好。然后——而不是用组合的方式。
主持人：然后你又有了其他性质的问题：好，现在我们有了一个很好的结合物，但它不溶，那我在分子的另一侧、不在结合口袋里的地方挂一些亲水官能团。
主持人：你就这样一直往上贴，最后你得到一个又大又好的结合物。所以你只要按分子量排序，它几乎是大多数公开数据集里最大的单一预测因子。但这和化学毫无关系。
伊恩：一个很好的直觉是：如果一样东西有效，他们就会对它做更多事。
主持人：因为他们喜欢它。
伊恩：所以你就对它做更多事，它变得更巴洛克，或者你用了更复杂、更贵的反应，或者你搞到一些很难弄的奇怪砌块。
主持人：对，那些如果你不觉得它有效，你就不会做的事。
伊恩：所以都是这些签名，模型就会抓到。所以确实挺吓人。
主持人：这就像那匹叫……聪明汉斯的马。你能讲讲聪明汉斯的故事吗？
伊恩：好，好。先来一点历史课……
伊恩：德国有一位马夫，大概是十九世纪末。我写过这件事，本该记得清楚。有一匹马叫聪明汉斯。
伊恩：聪明汉斯看起来会做复杂算术。你给马看一块写着数学题的黑板，马就用蹄子跺地，跺到正确答案时停下。所有人都惊叹：这马是天才。
伊恩：然后有人想了个好主意：去找一个不知道答案的提问者。结果马彻底失败。原来它只是在看主人的姿态和细微表情。
伊恩：比如说答案是七，到六的时候主人已经兴奋起来，于是它停。后来有位德国心理学家写了一篇很精彩的论文，真的去评估他在马主人身上观察到的微表情和姿态变化。如果你想要一篇轻松的读物，可以去翻。
主持人：所以类比是：它在读脸，而不是——
伊恩：对。它不懂数学。模型完全不懂化学，它们只是在记住创造者的社会学。
主持人：明白了。回到 Hermes 和你们的认识论严谨：你发现公开数据集不可信，手里有一堆你信任的内部数据，但你还没有好办法——现在你需要搞清楚，怎么准确、小心地用这些数据在真实世界里做点有用的事。你们是怎么跨过这道坎的？
伊恩：我们的做法是跑那些切分，像我前面说的。然后下一步看起来很明显：我们在内部数据上训练，而且我们不太愿意在外部数据上训练，那也许应该反过来，在外部数据上做预测，但从不训练……
主持人：从没见过它。
16 / 55:50 对照 Boltz
伊恩：这让我们处在一个不错的位置，因为我没看到有别的团队专门用内部产生的数据来训练这个任务的模型。
伊恩：去拿外部数据非常诱人，尤其因为外面可能的蛋白靶点那么多——一般人不会像我们筛这么多。所以我们拿了大批外部分子做预测，看我们在很多不同蛋白、大量精心挑选的正负样本上表现如何。
伊恩：这个数字我想是 Hermes 论文里的测试总数，大概是一千三百万，跨大概五百个蛋白靶点，是个巨大的数字。
伊恩：然后我们把它和当时最先进的结构模型做基准对比，那是 Boltz 团队做的，一个非常好的模型；我们的模型做不到它能做的很多事情。
伊恩：但我们能在这些公开数据集上、就这个结合问题，做到和他们差不多的水平。
主持人：和 Boltz 比，需要一些技巧才能做出比较公平的对比。Boltz 也在这个数据上训练过吧？
伊恩：算是。有几批大的数据集合，我们并不完全清楚他们训练用的是哪些子集。有一个例子非常清楚，我一会儿讲。
伊恩：但我们用的大部分评测，Boltz 团队也用过，只是我们往里放了多得多的分子去看效果。
伊恩：而且如果你看 Hermes 和 Boltz 的表现差异，我们在某些蛋白和蛋白家族上更好，Boltz 在另一些上更好。我们猜这是因为它们在训练集里的分布不同，所以一方理解得多一点，或者坦白说，记忆得多一点，因此能外推得远一点。
伊恩：有一件事对我们非常有验证性：我们有一个测试集是另一个正交的……
伊恩：我们的模型没见过的那个正交化合物库，它是我们从内部用过的一个库的复制品，那个库已经出现在文献里了。
伊恩：其中有一个靶点叫 BRD4。我们筛到的某一颗分子，和 PDB 蛋白数据库训练集里的一颗分子完全相同，Boltz 几乎肯定见过那颗。
伊恩：我们的模型在那颗分子上表现比较差——那是一个很远的、陌生的化学库，它们不太擅长；而 Boltz 完美。我们怀疑是因为 Boltz 已经在晶体结构里见过这个蛋白和这颗分子，作为训练集的一部分。所以它做得极好：对，这个对得上，感觉不错。
主持人：那在你看来，这是不是验证了你的规模化假设：加更多蛋白、更多样的化学库，你就能把空间填得更满？
伊恩：我们希望如此。我们确实认为，去追大量的多样性，特别是刻意去追所谓「活性悬崖」，就是这个办法。
伊恩：展开一点：它可以发生在蛋白这一侧，也可以发生在小分子这一侧。你有两个看起来极其相似、只差一点点改动的东西，而那一点点改动带来行为的巨大变化。
伊恩：药物化学家会谈到的一个经典例子，其实带点神话色彩，叫「魔法甲基」：你有一颗分子，然后那颗分子上有一根小刺，或者没有。
17 / 59:07 活性悬崖
伊恩：有或没有这根刺，意味着它要么非常好用，要么完全没用。
伊恩：遇到这种情形，模型也许就开始学到：有刺可能很重要，也许我得去考虑这些非常小的改动。
伊恩：我们做很多的一件事，而这在 DEL 里是天然的：三个砌块里有两个在大批样本里是相似的，而行为有变化；在蛋白这一侧，我们会有意地在蛋白里设计突变，去做同样的事。
主持人：我有点困惑：这些砌块，变异的尺度是好几个原子吧？一个砌块大概有多少个原子？
伊恩：如果不算氢，大概六个到三十个。但你可以想象，砌块之间本身就非常相似，只差单个原子的替换。
主持人：哦，我明白了。所以也许有两个砌块，一个有刺一个没有，这个你在测序里能看到。
伊恩：对，对。也许那根刺只是换了位置。
伊恩：当你这么做的时候，你会想：我的目标之间可能有张力。我可能想要大量更粗糙、更粗粒的多样性，因为我要在大量可能非常不同的蛋白靶点上找结合物；我也可能想要非常细微的改变，去真正教会模型这些极其微小的差异。
伊恩：所以设计自己的化学材料时，我们得横跨这种张力。我们想得很多。
主持人：两边都重要。
伊恩：两边都重要。
主持人：蛋白这一侧也一样，对吧？
伊恩：蛋白这一侧非常重要。如果你看现在的共折叠模型，已经有好几个团队展示过：你拿一个蛋白，它有一段氨基酸序列，编码出一个有大口袋的蛋白，也许这个蛋白在训练集里出现过，模型对口袋里有分子时的样子有很清楚的概念。
伊恩：于是你换掉给模型的氨基酸序列，把口袋破坏掉：你可以把它填上，像灌水泥；也可以整个删掉，让那里什么都没有；或者让它变得更大。
伊恩：做其中任何一件事，至少就我们目前看到的，如果你用当前最先进的模型去看它会怎么做，它会把这颗小分子硬塞进原来口袋的位置。
主持人：好吧。
伊恩：因为它只记得那儿有个口袋。
主持人：这很糟。
伊恩：假设是它并不真正理解：蛋白上有一个口袋，会有少数几个氨基酸伸出氢键位点，可能还有一些 π 堆积这类东西在驱动化学，这些本该非常非常重要。
伊恩：在物理世界里，你测量时它们确实非常重要。如果你把它们破坏掉，而模型理解物理，它大概就该知道不能把分子硬塞进去。
伊恩：问题在于，很多结构训练集里并没有好的负例，因为能进到那里的都是……
主持人：对，就是这样：它们没有这些真正会破坏行为的变异。
伊恩：而且没人会为了这些新情况去解一堆晶体结构。
主持人：那你怎么拿到负例？
伊恩：我们拿负例的方式是，我们非常清楚在基线条件下这些分子数量的分布。
伊恩：跑筛的时候我们知道：这些结合得多，因为我们把蛋白拉出来时它们被富集了。
伊恩：现在我们破坏这个口袋，它们就不再被富集了。我们做的那一个氨基酸替换，让一批化学系列掉了出去。
主持人：但这是一次性实验，这不是 DEL。
伊恩：不，这就是 DEL。
主持人：哦不。所以你不是说你「破坏过」，你是说我找到一个它被破坏的例子。
伊恩：不，是我们去破坏它。我们拿一个蛋白来筛，口袋是完好的，很好，我们拿到一批命中。
伊恩：再往前一步：假设别人已经找到一颗会进这个口袋的化学物，我们把它买来，塞进去，再跑一次筛。
伊恩：这意味着平时进这个口袋的化学物，会被高浓度的这一颗置换掉。
主持人：哦，你有竞争性配体。
伊恩：我们经常这么做。
主持人：好，好。
伊恩：然后你说，看起来不错，我相信了。现在我们知道别人表征过的那颗化学物进的是这个口袋，也许他们解了晶体或者别的什么。
伊恩：好，我们去看这个口袋里的氨基酸，然后改掉那个给我们做蛋白的 DNA 构建体，物理上突变这一个残基：换一个体积大的进去，把口袋填满。
主持人：比如换侧链之类的。
伊恩：各种都能做。现在很容易，因为我们有 AlphaFold、有 Boltz，这些结构模型，你可以用它们来设计你的蛋白。
伊恩：对表征不那么清楚的东西，我们用保守性分析，我们有结构生物学家盯着这些看。比如爱德华·克拉夫特就非常厉害。
伊恩：好，现在做这一个突变，再跑一次筛。看：所有被那个堵住洞的东西踢出去的化学物，在我们破坏口袋之后也都不见了。
伊恩：于是我们有了非常好的证据：它们都进的是那个口袋。
主持人：好。
伊恩：然后这时候蛋白化学家会进来说：你做了突变，你怎么知道你不是把整个蛋白搞坏了？这是个合理的问题。
伊恩：你说：好，我们只丢了被竞争物踢出去的那些化学系列，其他结合在蛋白别处的那些都完好无损。
主持人：完好。
伊恩：对，你不只是把蛋白搞坏了。于是你想，好，如果你一周要筛一百个蛋白构建体——我们忙的时候就是这个量——你破坏了口袋，那怎么还能发现别的、开始结合到蛋白上的东西？
伊恩：当你改动周围时，你可能改变了形状，从而鼓励别的东西结合。我们确实见过。
主持人：那对你们是信息源吗？
伊恩：是。DEL 特别好的一点是：如果你不按大数量去想，你会觉得，我只有一颗化学物原来结合，现在破坏口袋它不见了。
伊恩：但因为 DEL 的组合性质，也许我有五个不同的化学系列，那就像是几百颗分子；还有另一组同样的几百颗分子，只差砌块里的一个改动。
伊恩：于是你有大量重复的例子：这一件微小的事把群体行为整个移动了，而且这是一个很大的群体。于是你非常确信。
伊恩：我可以给你们看一张图——我不知道播客能不能放图——但它非常明显：这个砌块上的这一个侧基，显然在和这一个氨基酸残基相互作用，因为我们有五个独立例子显示群体行为因它而移动。很漂亮，非常清楚。
主持人：来，说说这张图。
伊恩：我们把它调出来了。调出来是因为我们认为，蛋白和小分子两边都需要大量变异，这很重要。
伊恩：理由是你想让一个学药物化学的模型真正开始拼起来……
18 / 1:07:12 突变实验
伊恩：拼起来这颗小分子的这一部分和蛋白的这一部分之间的氢键相互作用。
伊恩：我们前面说过另一项工作：如果你在数字上破坏一个口袋，用当前最先进的模型，它们很难理解物理，还是会照旧把分子塞回去。这让我们认为它们在记忆。
伊恩：所以我们想，绕开这件事的一个办法，是在这些蛋白的结合区里实验性地设计突变，然后重新筛。
主持人：物理上真的去做？
伊恩：物理上做。你拿已经筛过的野生型蛋白的 DNA，用微生物学技术改动一个或多个氨基酸，让小分子结合的那个功能区不再一样，以某种方式变得不同。
伊恩：我们有不同的方法去识别哪些氨基酸是值得去破坏的。有时候你破坏的是你有信心会起作用的，有时候你不知道。但我们可以做得规模相当大，所以每个位置放几个「搏一把」对我们不是大问题。
伊恩：然后你跑筛。口袋被破坏时，那些分子会怎样？它们还进去吗？有一部分进去吗？留下来的那些有什么共同点？被挤出去、被踢出去的那些有什么共同点？
伊恩：你会有大量这样的例子。一个口袋里也许有三到五个氨基酸在驱动结合行为，你可以各自独立地破坏它们，每次重跑筛，慢慢摸清小分子的哪一部分在和你改动的部位相互作用。
伊恩：用一个大 DEL 做这件事，你就会得到大量相似的分子重复出现的例子，它们都沿着同样的行为轨迹走。这样你就能摸得很准：我有很多例子，彼此都很像，唯一超级共同的东西就是小分子上的这一小块。于是我怀疑它在和我刚刚破坏的那个口袋相互作用。
主持人：这张图上我们在看什么？
伊恩：图上的每一个小点，都是我们设计并制造的那个化合物库里的分子。横纵轴是它们结合得有多好：越往下结合越好，越靠近原点基本上就没怎么结合。
伊恩：然后我们把几团点上了颜色，那些团是不同的化学系列。这些分子看起来彼此非常相似……
伊恩：它们看起来彼此非常相似，差别在于我们把那块类似化学的结构指向了哪里。眯着眼看，它们都差不多，但有几处细微差别，我们相信整个群体的行为就是被这些差别与我们做的那个单一突变之间的相互作用驱动的。
主持人：所以这张图，下面是野生型靶点，横轴或纵轴上是突变型靶点。这里有红色的那一团，它基本上是指向上的。
伊恩：它结合得更好了。
主持人：它结合得更好。所以这一颗，突变让它结合得更好，这正好回答了我几分钟前问的那个问题。
伊恩：对。
主持人：然后这里大多数看起来都在轴上方，所以这个突变让它们大多数结合得更好。
伊恩：没错。同一个口袋里还有第二个突变，也可以给你们看：所有那些群体的点被完全踢出去，它们不结合了。那个口袋被有意义地破坏了，而在这里结合是增强的。
主持人：所以基本上所有点都会落在底部。
伊恩：没错。
主持人：太好了。
伊恩：所以你可以做后处理。
主持人：太好了。所以这样做，你能把活性悬崖问题在化合物空间和蛋白空间两边都摸出来。
伊恩：对。如果你在做激酶就特别有用：有一百种激酶，在重要的结合位点上也许每次只差一个残基。这对这类蛋白威力极大，还能让你自己心里有底。
伊恩：而且我们做很多，我说过，几百上千次这种筛。
主持人：这样做还有一件事：Hermes 里有交叉注意力，你其实可以解释 Hermes 认为结合口袋在哪里。它通过这些图学到了结合口袋。
伊恩：对。我们写过，用注意力图这类方法去看 Hermes 在氨基酸空间里看哪里。
19 / 1:11:36 外号
伊恩：我们最早做这件事的时候，预期它会去看结合口袋——这是第一直觉。然后更克制一点的预期是：也许我们希望它去看所有这些残基，因为它大概还不知道发生了什么。
伊恩：结果我们一看，它两个都没看。它看的是非常短的氨基酸序列，既远离蛋白的功能区，也远离那些在很多蛋白之间看起来相似的部分。
伊恩：给不在场的非生物学听众解释一下：分子演化很多时候是，蛋白里有一段做得不错，这段常常会在别的蛋白之间被搬来搬去，于是你有一个保守区，叫结构域或者保守蛋白结构域。
伊恩：那部分在很多蛋白之间看起来都很像。生物学家用它去推断蛋白家族、亲缘关系和功能：如果它们都有同一类零件，那它们做的事大概差不多。
伊恩：我们预期模型会看那个，但并没有。它看的是外面，看这些大家通常认为没什么大用的小段。它们有点不一样，不保守，变异多得多。
伊恩：我们意识到，Hermes 大概是在给这个蛋白起外号。它没有在想，哦这是功能区，它想的是，我不需要学那个，我只要记住这里跟别人不同的那十到十二个氨基酸，背下来就行。
伊恩：我们觉得这很糟。因为如果口袋里有变异，但它们都有这些别的相似部分，而口袋里的变异大多不重要、但有些重要，那模型可能会学到：我只要盯着这些就行。
主持人：担忧是，模型又一次没有学到任何物理。它就是背下来了。这和用共折叠模型破坏口袋、它还是硬塞进去是一回事：它不知道发生了什么，只是起了个外号。
伊恩：对。
主持人：那你怎么修？这就是我们想到大规模做这些突变的地方。然后发生的是……
伊恩：如果你有一个看起来几乎一模一样的蛋白，但有一处细微差别，而行为因为这个细微差别发生了很大变化，你就是在鼓励模型去看所有的氨基酸。
主持人：它没法再靠那段不保守的序列，因为它如果靠那个，面对这两个行为不同的东西就会做得很差。
伊恩：对。于是我们回头，用这些额外的突变——包括你们在这张图上看到的那个——重新训练模型，然后再看注意力图。现在 Hermes 看这些东西均匀多了。
主持人：所以你基本上是用注意力图去找到它在背外号的那些案例，然后在口袋里富集突变，鼓励它把注意力放回口袋。
伊恩：对。而且这不一定只针对某一个基因，更是一个普遍问题：我不能再用这个起外号的策略了。
主持人：你想教会模型：不行，别这么干。
伊恩：别这么干，太逊了。
主持人：我很喜欢这个，因为机械可解释性最务实的用法一直是在生物学和相关科学里，我认为它本质不同，是因为你是从模型往回学生物学，而不只是试着解释它在想什么。
主持人：在这个案例里，也许它确实是往前的那种用法，但我见过太多机械可解释性被用在生物学上，因为你真的想理解，而这些机器学习模型里没有语言，没有语言可以倚靠。所以你根本不知道它在想什么，除非你去检查模型内部。
伊恩：这很有意思。是的，而且最近我们发现非常有成果的一件事，其实是转向语言模型。
主持人：好。
伊恩：我们目前在做的是：用可读的、可解释的英文来表示这些小分子、蛋白以及它们的行为。
主持人：哇。
伊恩：结果这效果相当不错。
主持人：我想先框一下，因为单细胞领域有一篇很有意思的论文叫 GenePT……
20 / 1:15:47 语言模型
主持人：那篇论文出自斯坦福，作者是个统计学家，其实不算生物学圈里的人。他拿的是基因描述的文本嵌入。
主持人：而你们在 Hermes 里用的是 ESM 嵌入。他们就说，干脆只用文本嵌入。妙处在于，人类花在理解每一个基因上的时间已经有无数年，那些知识在某种程度上被这些文本嵌入捕捉住了。
主持人：所以请讲讲你们在做什么。
伊恩：我们这个项目开始得不太久。我们意识到的一件事是，我们手里有一批不断增长的活性悬崖，以及同一批化学材料在大量蛋白上的表现谱。
伊恩：我们想知道，能不能真的用推理智能体去探索它，并且在实验室里闭环地用起来。这就要求我们去用推理模型和语言模型，让它们自己去玩。
伊恩：具体做法是，我们拿一些开源语言模型——Qwen、GLM 这些别人也在用的东西——用这种方式教它们药物化学：这里是结构，用自然英文描述它；给我两颗分子之间的差异，用自然英文。
伊恩：然后我们把它带到这一步：这里有一些是结合物，一些不是，你能不能告诉我们你认为它们为什么结合。
伊恩：你还可以给它硬负例，于是你有两个集合。它会想，好，我认为这个化学系列是这样的，然后用可读的英文写下来，我们觉得这很棒。
伊恩：接着我们说，好，现在你大概懂这些基本概念了，我们给你 10 个结合物和 10 个非结合物，要你说出你认为它们为什么结合；现在给你机会跑你自己的实验。
伊恩：这里有一个几百万颗分子的目录，你为什么不挑五颗或十颗，去检验你关于它们为什么结合的假设？
伊恩：于是模型会走进我们已经采到的数据，挑出它认为信息量最大的选择，立刻拿到答案——就像一个写代码的沙箱——然后更新它关于结合的假设。
伊恩：最终目标是用尽可能少的步数拿到最好的结合物，非常像药物化学家会做的事。
主持人：你这么做是基于你先前的实验，但它是在数据库里查。
伊恩：对。
主持人：所以你现在基本上造出了一个强化学习的 rollout。
伊恩：对，是一个规模很大、还在不断增长的 rollout，里面满是活性悬崖和不同的蛋白变体。
伊恩：因为当你在这些小小的活性悬崖上改动分子时，那是因果性的变化：你把这个东西加上去，行为就以这种可重复、可测量的方式变了。
伊恩：所以你还可以用这些轨迹去生成推理过程，规模可以相当大。
伊恩：现在这些智能体在数据集里跑：给它 10 个结合物、10 个非结合物，给它一百颗分子的预算，它们会做大概一百到两百次调用，走完这个很长的多步推理问题，最后给出它们认为最好的答案。
主持人：那你为什么认为这比 Hermes 更好，或者比把 Hermes 那条路放大、堆更多注意力更好？
伊恩：我们这么认为。我们觉得它对记忆问题抵抗得多。虽然 Hermes 在加入这些突变后注意力去哪，我们很满意；但当你给模型加更多参数，它们也会把突变背下来。
伊恩：我们希望这个东西真的理解这些因果变化，而用自然语言似乎是这个问题上相当好的正则化。
伊恩：我们不知道还有别的问题，能有这样一个物理上扎根、又这么可扩展、这么快的强化学习闭环。
伊恩：你可以想象，做实验室闭环、造机器人去打这些问题，也必然受资源限制：它们在第一时间就会对做什么、不做什么做出选择，而那些循环也会慢一些。
伊恩：如果有一种可扩展的办法去测量那片地形、并不断把它做大，让智能体在里面玩，我们觉得在这个特定问题上会快得多。
主持人：有意思。我会说它是接近的——Zera 的 Excel 那类做法正在接近，但他们用的不是语言，是把东西编码成序列。所以某种程度上扰动是相似的，但这是不同的。然后 Lila 也和这个押韵。
伊恩：对，这些人都非常聪明，都在推自动化那类东西。
主持人：但他们没有做这种池化筛选，然后把它变成一次数据库查询。据我所知，他们还没搞明白怎么做到这一点，所以你能做海量的 rollout。
伊恩：对。现在我们喜欢这样想：如果你是药物化学家，在制药公司工作，你会做所谓的构效关系分析，意思是，我这样改分子，行为就变了，我要为这些不同性质做优化。
伊恩：你会走一遍所谓的 SAR 系列。那是早期药物开发：让分子变好。你一辈子可能见过几十个，也许五十个这样的系列。
伊恩：而就在上周末，我们拉出了超过一万个。而且我们还没怎么使劲。
21 / 1:21:27 一万个系列
伊恩：所以现在机会来了。目前它被限制在我们筛过的空间里，最后你可以让模型从目录里做额外的选择，将来可以下单去做、再测，像传统的实验室闭环那样。
伊恩：但现在我们给这些智能体 10 个结合物、一百颗的预算，它们能在这个预算内从六百五十万颗里挑出最好的结合物。看起来是有效的。
主持人：讲讲你为什么认为这有效。更好的正则化那个论证我理解了，但为什么你相信它真的有效？你可以想象它错得没那么离谱，但也没那么对。
伊恩：我认为是因为你给了它做出所有这些选择的机会。
伊恩：这就像跑那些写代码的沙箱：你有非常快的强化奖励信号；但关键在于，你还必须包含人类不会做的那些选择，因为我们在所有蛋白上测了所有分子。
主持人：所以它必须能做出反直觉的决定，并从中得到反馈。
伊恩：它必须有反事实，必须犯错，而且你要确保这些错误——或者未来可能的错误——以不带偏见的方式存在于数据里，不至于让它学到化学家的社会学指纹。
主持人：确实很有意思。
伊恩：通过整个语言预训练语料，它对一些基础化学有一种直觉，那种直觉大多数药物化学家大概也有。而现在你给了它一个几乎无限快的实验室闭环。
主持人：对。抱歉。
主持人：也许还有推理。我甚至会说推理能力可能更重要——能够说：在我的强化学习、我的学习过程里我学到了东西，这让我能对下一个更难的问题进行推理，然后继续做选择。你们现在对这个早期信号非常兴奋。
伊恩：而且我们是个很小的店，只有十个人。我非常期待我们的实验语料以现在两倍、十倍、一百倍的速度增长，因为那时这些智能体能探索的空间会急剧扩大。
主持人：那我们来谈谈这个空间。我的理解——这是我跟 Claude 聊、谷歌出来的——是 DEL 有局限，它们倾向于造出平的、更扁的分子。
伊恩：这取决于砌块。取决于砌块。你可以想象，你在设计上会受一些约束：我拿到一定数量的砌块，通常两到三个，然后用某种方式把它们缝起来。
22 / 1:24:08 化学边界
伊恩：我们做化合物库设计时的选择，通常有一种我们现在跑得很多的，是分叉设计，像 Y 形分子；还有线形的；也有环状、大环状的。
伊恩：然后你还得想 DNA 要挂在哪里，那会给我带来什么麻烦，以及砌块的商业可得性、把它们缝起来所需的化学。定制要更久，对我们来说做快点更有吸引力。
伊恩：化学空间里肯定有些角落我们大概不行。于是你要想：未来的库应该有这种几何形状。然后还得想会拿它去试哪些蛋白。
伊恩：用这种方式做的整个库，可能对这类靶点非常好，对另外那类非常糟。所以你得想：我在为蛋白空间的哪些角落做优化？就是这类张力。
主持人：所以听下来论点是：我们知道我们并没有优化整个空间，但比过去多得多，所以更好；等我们更擅长这件事、或者预算更大，我们就会扩展到那些我们知道欠缺的角落，甚至是那些我们不知道欠缺、但迟早会发现的角落。
伊恩：对，完全对。
主持人：要不要进入最后一个环节？
伊恩：好啊，来吧，看看怎么样。
主持人：给听众一点背景：伊恩要求的——我要确认这是他的主意，不是我的——一个「别问我，来打我」的环节，我们问能想到的最难的问题。
主持人：你们大概听得出来，对我来说不算很难。我已经问过我的难题了。我们只有大约二十四小时准备，所以这些大部分是 Claude 能想到的最难的问题，看看会怎么样。
23 / 1:26:00 成药性
伊恩：背景是我上周去参加了一个癌症与微型疗法会议，那个会的形式是一半时间做内容报告，另一半时间非常凶猛地盘问。
伊恩：那既可怕又鼓舞人，所以我愿意公开来一遍。
主持人：那就来。就像 R.J. 刚说的，DEL 常常有非常特定的性质，你可以在其中优化得非常好，但最终它们在有些事情上经常失败，而那些事很难转化成真正的药。
伊恩：所以某些失效模式，比如容易组装的东西也容易降解，对 ADMET 性质不利；你能往上搭的空间有限，因为你已经用掉了一些组合砌块。
主持人：总之，这在「长期、走出库的泛化」上到底怎么限制你们？
伊恩：我认为很大一部分取决于砌块的可得性，以及一个人愿不愿意去做定制合成。
伊恩：特别是做细粒度图谱那类工作：能说「把氮原子在环上绕一整圈、每个位置都试一遍」，是非常非常想要的，但要为你现在能产出的所有砌块都拿到商业化的这种货，几乎不可能。
伊恩：所以这会成为失效模式吗？当然会。我很想拿到更多这样的东西，把定制合成做厚。我们正在看，但现在拿到它们很难。
伊恩：Claude 可能会提的一条批评是「易组装也易分解」。很多年里，DEL 化学里最常见的连接砌块的键是酰胺键、肽键，这些东西在体内很容易被消化。
伊恩：但过去几年——真的就是最近四年左右——出现了一大批对 DNA 友好的化学，在连接过程中不破坏 DNA，这非常重要，能给出碳-碳键、碳-氮键这类东西。所以对日常的简单化学来说其实相当不错。
伊恩：所以这部分我不太担心。我更担心的是砌块的多样性，以及它们的来源。
主持人：那 ADMET 性质总体上呢？你们一直非常专注于结合。
伊恩：确实。在我们做过的一些项目里，我们试图去看合理的 ADMET 和 PK/PD 性质。顺带说，我们用非常少的药物化学轮次，六个月里就从化合物库的命中走到了小鼠身上良好的 PK/PD。
伊恩：所以至少我们现在手里的化学材料——至少我们做过的那几个系列——在我们手上结果相当不错。
24 / 1:28:36 六个月
伊恩：我想我们会继续看这类建模的效果，当然也想做更多这类 ADMET 靶点模型，然后想怎么把更偏涌现行为的模型和我们的设计结合起来。
主持人：那个速度是因为你们能自己做局部的组合库，还是什么让你们六个月走到了那里？
伊恩：我们最初设计那些化合物库时，很刻意地针对成药性去优化了那片空间，所以我们认为那是部分原因：起点真的很好。
伊恩：做库设计时，我们有一种类似汤普森采样的做法：我们提出一个优化函数，说好，我要这些库具备这些性质。其中一些性质是「我想结合这些东西」「我想避开这些东西」。
伊恩：还有一些性质是：有别的 ADMET 建模办法可以预测你的化学材料会怎样，你把它放进优化函数里。
伊恩：然后你说，好，在给定几何形状下我能做出的所有化学物里，我不想做那么多，我想做一个更小的数量。
伊恩：所以你基本上就是生成一批合成库，然后用这个优化函数给它们打分。我们对这个库就是这么做的，起始材料看起来相当好。我相信我们会继续这么做。
主持人：顺着这个问：你们做的东西有没有进到动物？
伊恩：小鼠的 PK/PD 算是。它的意思是：你能不能给小鼠给药，然后看它怎么进入小鼠体内和组织。
主持人：PK/PD 是药代动力学、药效学，意思是身体怎么把药物在体内搬运，以及药物预期活性有没有生物标志物。
主持人：这里的意思是，这是一个我们在做炎症的化合物，我们在跟踪小鼠血液里的细胞因子水平，它们做了我们想要的、也是根据药物靶点预期的动作。
主持人：肖恩喜欢问「什么时候能赚钱」，我想问人……
主持人：你们做的东西有没有进到动物？
伊恩：小鼠的 PK/PD 算是。它的意思是：给小鼠给药，然后看它怎么进入小鼠体内和组织。
主持人：PK/PD 是药代动力学、药效学，意思是身体怎么把药在体内搬运，以及药物预期活性有没有生物标志物。
主持人：这里的意思是，这是一个我们在做炎症的化合物，我们在跟踪小鼠血液里的细胞因子水平，它们做了我们想要的、也符合靶点预期的动作。
主持人：肖恩喜欢问「什么时候能赚钱」，我想问人：我们聊过的这些东西里，有几个我们正在和人谈合作、要成立新实体去追。
伊恩：对。当然这些事都要时间。这些都走传统流程：一旦你宣布所谓的开发候选物，还要做大量生产方面和其他安全性工作，才能进到人身上。所以都要更久一点。
主持人：所以你们打算把想法分拆出去，让人——也许是内部的人——说，我真的想把这个东西推向市场，或者推到下一步。
伊恩：对。我们的一种想法是：我们建了一个非常好的引擎，用来做数据生成、模型训练，还有我们谈到的这些强化学习推理方法。
伊恩：在大多数别的领域，你建一个引擎去干这些事、去帮这些问题，你沿途生成的那个子集本身并不内在地值钱。没人想卖关于政治理论的推理轨迹。
伊恩：但我们在做这些筛选的过程中，会产出一些金子：因为你不只在推理「这个分子好」，而且在推理「它为什么好」。
伊恩：这里有它为什么好，还有属于我们的专有化学材料，它的活性落在别人可能觉得很难成药的蛋白靶点类别里。
伊恩：所以你有很好的起始材料。现在我们有看起来对我们来说有选择性的起始材料，涉及我印象里七百个靶点，数量巨大。你不会去追所有这些，但作为机会，它们的价值捕获程度和吸引力各不相同。
伊恩：所以你会想：好吧，我们有这一堆东西，看看能从中捞到什么。药物发现只占开发一个新药总成本的一小部分。
25 / 1:32:51 经济学
主持人：就把一个药物候选物一路走下所有步骤、并且成功，低的一头大概两亿美元，高的一头十亿美元，取决于你要在谁身上做试验以及很多别的因素。而发现只是几百万。所以你们在解决对的问题吗？
伊恩：我认为有若干早期发现问题本身就值那个钱，合理的金额。这意味着什么？
伊恩：现在有一批靶点，有非常好的遗传学证据，但用小白子很难成药。一个很直接的例子是，对很多细胞因子炎症适应症，人们用抗体去做，而去追一个小分子疗法——可以吃药片而不是输液，不需要冷链运输就能触达不同患者群体。
伊恩：拥有这些东西是极其诱人的。
主持人：也就是说，你得有冷藏车。
伊恩：对。如果你要把这些基于抗体的药送到某些人手里，那是个非常难的问题。
主持人：而且非常贵。
伊恩：非常贵。所以人们非常兴奋：能不能找到一个小分子疗法做同样的事，去对抗针对这些的抗体？
主持人：有些抗体是有效的。
伊恩：对，所以我们知道这条路有效，那你就会问：为什么不能用小分子去打同一个靶点？
伊恩：结果发现那些蛋白因为各种原因非常难成药，但我们愿意认为我们正在开发的技术能拿到好的材料。事实上，我们对很多这类细胞因子确实拿到了有选择性的材料。
伊恩：所以这是一个非常诱人的靶点的例子，当然要把它推过终点线、真正上市，资本需求会大得多，但兴趣足够高。
主持人：所以你们基本上会毁掉抗体市场。
伊恩：对某些东西是有利的，对另一些非常好，而且有大量能量投在那些团队上，因为我们现在蛋白质折叠做得很好，他们进展很大。
伊恩：更宽一点说，是要解决对的问题。这里面有一点路灯问题：在生命科学里，我们能做足够多可扩展测量的地方，是这些早期的问题。
伊恩：我们没法真的做一百万只小鼠的实验，没法做几百万个一期临床。所以我们会在这方面变得更好，会用更好的数据、更好的推理和物理模型，往生物学抽象的不同层级上走。
伊恩：但就现在而言，我们真正能做出所需数量级测量的技术，我觉得就是这些早期的做法。
主持人：对。
伊恩：我还要争一句：如果你有一个神谕，某个 AI 神谕说，所有 ADMET 性质都会很好，而且恰好能泛化到这群人，那么你临床试验里所有失败就都没了。
伊恩：你可以想象一个世界：你有了某个新靶点、一些新证据，神谕立刻给你能让你放心直接推去做小鼠研究的化学材料。
主持人：但那要求你在小鼠研究、临床试验之类的数据上训练。
伊恩：我是说，ADMET 性质可以，如果你对靶点有信心，需要确认它不打到其他脱靶上。但即便如此，你可能也不需要临床结果才能有信心立刻去做小鼠研究。
主持人：好，那我们来谈大家都爱问的那个问题。我最爱问的问题，我叫它机器学习的科苏里悖论。
伊恩：对，对。斯里·科苏里，一条很棒的推文，我喜欢这条。
26 / 1:36:32 科苏里
主持人：他那条推文几周前把我们点了。他的单集我们希望在接下来几周放出来。
主持人：可惜我在那一期里根本没提这件事，太遗憾了。总之那条推文基本上是在问：机器学习做药物发现的商业模式是什么？
主持人：因为要建一个好的机器学习模型，你需要大量、高质量、有规模的数据。你们显然有。但如果你需要这些数据来训练模型，那你要模型干什么？你直接去收集就好了，而你们显然收得很好。
主持人：所以我们聊了很多数据采集、聊了很多机器学习，我其实好奇的是：机器学习到底在哪里？它对你们的商业模式是必需的吗？
伊恩：当然这取决于商业模式。如果你的唯一理由是去为某个特定靶点拿到好的化学材料，那科苏里当然是对的。
伊恩：你会在手里有足够化学材料、广泛撒在这些别的靶点上之后就能开始——这种方式能推动对化学行为更深的机器理解——那你优化早期材料的路径有潜力快得多。
伊恩：特别是如果像我们这样做到这个规模，特别是如果像我们这样只用了很少的资本注入。我们在 Leash 没融多少钱，却筛了极大的量。
伊恩：再退一步说，我提到语言模型这些东西的原因之一是，我们开始怀疑它是否能带来比「识别新化学材料」大得多的能力范围。
伊恩：如果我们真的把化学推理做好，那我们就能在很多不同行业和应用上做得很好，而不必在每个领域物理上去筛。
主持人：举个例子？
伊恩：比如说，如果我们把这些预测做得很准，那我们就能立刻去做农业、去做兽医、去做材料科学，而且不必把那些蛋白都筛一遍，因为你有了很好的基础理解。
伊恩：对所有做蛋白质折叠的公司也可以这么说：现在这些模型好了，有团队在追还没被筛过、或者极难筛的蛋白靶点，并拿到很好的起始材料。
伊恩：比如 Novel 那类公司做的，是细胞上的一个受体，上面带着一小段突变的癌症基因，非常难做，他们做成了。你可以想象一个世界，我们用小分子材料也能这么做。
伊恩：所以我不认为科苏里错了：如果你只是想给这一个东西做药，筛很多，手里已经有了那个东西，你确实不需要模型。
伊恩：但那和「泛化到所有东西」不是一回事。我们希望的是：如果你有足够多这种带变异的、被工程化的活性悬崖，你就能到达一个可以做所有事情的点，那时你就再也不需要把一切都筛一遍。
主持人：可以说，你们——我不知道你们融了多少钱——一个项目、两个项目的花费大概就等于那么多。
伊恩：对。给点真实的尺度：我们开发和筛过大约两千个不同的蛋白构建体，公司历史上的筛选总数大概五千次，每一次至少六百五十万颗分子。
伊恩：我不想陷入比数字的游戏，但这肯定几乎和地球上任何一家一样多。也许比所有其他人都多，大概不是吧，可能有几家。但突变数量我认为大概比所有人都多，这看起来很可能。
伊恩：对，我们就是投入了巨大的工作量，把这件事做得非常便宜、非常可扩展。如果我一次只做一个……
主持人：如果你去 CRO 一次做一个，每一个大概要十万美元，取决于对方给你多少手把手的服务。
伊恩：对。你刚说六百五十万颗分子，这其实不算很多分子，尤其考虑到它是组合空间。
27 / 1:40:38 效价
主持人：大家都说十的四十次方之类的，大数字。显然你不需要理解整个化学空间。
主持人：你只需要能反复、稳定地做出药，这才是目标。但那个化学空间——真的是足够让你在它之外有意义地做点什么的空间吗？
伊恩：好问题。让人愉快的答案是：我前面说过，我们只用内部数据训练模型，却能外推到 ChEMBL，那是化学空间里非常不同的角落。所以是的，我们认为够吗？远远不够。
伊恩：所以我们路线图的一部分，是在化学空间的不同角落做更大的化合物库，横跨我前面说的那种张力：一边是非常细粒度的改动，用来欣赏活性悬崖；另一边是大颗粒的改动，用来抓住新的蛋白和蛋白形状。
主持人：这不是难题，我只是真的好奇：你们能预测效价吗，比如相对效价？能不能做 KD 曲线，通过滴加越来越大浓度的东西？
主持人：人们在 DEL 上试图直接拿到 KD，比如变化蛋白浓度这类做法。你们呢？
伊恩：我们看到的一件事是，当我们重复跑筛时，拿回来的命中大致是同样的、顺序也大致相同，这让我们对能做到这类事比较乐观。
伊恩：我们开始更多转向 SPR、生物物理测量，想看看能不能做出一把「效价阶梯」，把它作为我们筛选的化学材料的一部分，去捕捉这些东西。但我不会说我们已经擅长了。
主持人：你不能把读数直接当作 KD 的代理？
伊恩：相对排序可以，读数换算 KD 不太行，然后你会撞上一些奇怪的东西。
伊恩：比如我们遇到过很多蛋白，结果发现 DNA 条码本身——有一些不被描述为 DNA 结合蛋白的蛋白，我们发现它们其实是。所以你可以想象那会影响 KD，你得想办法缓解这些问题。
伊恩：所以相对排序是相当可做的；把它翻译成 KD 是我们正在做的工作，我们觉得也许能拿到某种合理的、粗糙的换算，但我不会说我们已经到了。
28 / 1:42:58 护城河
主持人：好，这一条挺狠的。「苦涩的教训」。我直接念。这条完全是 Claude 想的，我一点没参与。
主持人：苦涩的教训才是真正的法则。什么能阻止一个资金更充裕的实验室，把你的 DEL 引擎规模化地超过你？
伊恩：当然有人问我们这个。我真正想说的是：在 Leash 和 Recursion，我的团队在实验室工作里，因为意外撞上各种作弊模式而犯过太多错。
伊恩：这类东西太多了，你得一路追下去，很大一部分和用元数据追踪批次效应有关。然后你得在组织里建一种文化：好，这些我们都要追踪，要造工具来追踪，工具要做得没有摩擦，让干活的人真的愿意记录。
伊恩：然后你得回头去看历史上所有数据，确认结果真的是一致的；当你看到大的变化，要找出是什么驱动的，然后去缓解。这就是巨大的工作量。
伊恩：我们还基本从头重建了筛选流程，从头重建了很多蛋白表达流程，还有一堆别的代理指标，用来评估蛋白做得好不好、以及别的过滤条件。
伊恩：这需要一种独特的文化、耐心，愿意犯错，并且让团队真的深入思考怎么解决。除非你有一群对这类实验错误真的很有嗅觉的人，否则要复现这件事会花不少时间。
主持人：流程上的护城河。
伊恩：我真的这么认为。会出岔子的地方太多了，你得一直足够留意，才能在它们出岔子时识别出来。有些东西你也许能写自动过滤，但早期大概不行。
29 / 1:44:48 折叠探测器
伊恩：一个很好的例子——我很乐意讲——是人们常问我们：你怎么知道你的蛋白是好的？我们有很多办法。
伊恩：我现在最喜欢的一个是：我们注意到，当蛋白错误折叠时，在很粗糙的情况下我们能识别出来，比如你把蛋白跑一个胶，那是一种看它有多大的方法；如果它折错了，你能大致看出来，但只错一点点就难了。
伊恩：有一些药物的职责就是把错误折叠的蛋白重新折叠，叫分子伴侣。
主持人：也可以叫伴侣蛋白。
伊恩：对，我们就叫它们伴侣。有一个非常著名的、治疗囊性纤维化患者的药，叫鲁玛卡托。
伊恩：我们的化合物库里有一批化学物长得很像鲁玛卡托——它的职责是把错误折叠的蛋白重新折叠。你猜我们筛的时候它会打到什么样的蛋白？
主持人：囊性纤维化的。
伊恩：里面那些错误折叠的蛋白。它本来就是干这个的。而它就在我们的库里。
伊恩：我们是怎么发现的？纯属意外：我们看着这些化学系列在所有不同蛋白上不断冒出来，就想，天哪，这是什么？是鲁玛卡托那类吗？
伊恩：然后你去看蛋白表达，看那一批是怎么做的，发现它就是在事情不顺的时候冒出来。
伊恩：所以现在我们能拿它当一个过滤条件：如果我们拿到一堆鲁玛卡托那类的命中，那这个蛋白大概折错了。我们大概不该把它当训练数据，应该换个稍微不同的条件重跑，让它对蛋白更友好一点，然后再看那些命中长什么样。
伊恩：所以除非你这么留意，否则真的很难。
伊恩：而且你得造工具，能让人直接看这些东西，还得有人知道要去找这些、并且能认出来。这是个很难的问题。
主持人：回到「每个碰过 DEL 的人都带着创伤出来」。你们不知怎么撑住了。
伊恩：你也带着创伤，只是往好的方向。真的很难。这也是为什么——如果你的动机只是找到一两个很棒的命中来启动一个药物项目，你就不会去追这些实验设计的方方面面。
30 / 1:47:01 瓶颈
伊恩：我理解。但如果你的动机是让它成为机器学习的饲料，那你就得注意所有这些事。
主持人：我们最后总问的一个问题是：如果你能凭一道命令移除一个瓶颈，那会是什么？
伊恩：我想到的是其中一件正在发生的事：看着测序成本像石头一样往下掉。我在想，我们真正想要什么？我们想要更多化学物、更多测量，这些是我想让生活变容易一点的地方，是眼下地面上那些问题。
主持人：抱歉，我没听明白。
伊恩：更便宜的测序、更多分子。
主持人：能给我们一点背景吗，测序降了多少？
伊恩：天哪，好多个数量级。第一个基因组据说花了十亿美元，现在人类基因组一千美元就能做。
主持人：我觉得可能是一百。
伊恩：非常便宜。中间有段时间它降得比摩尔定律还快。
主持人：那既然这样，你为什么还想要更便宜的测序？
伊恩：哦，我只是乐见这个趋势。
主持人：那如果凭一道命令，你想移除什么还没被移除的？
伊恩：好，说个好的。我想要的是：现在有各种小器具可以用来纯化小分子。
伊恩：你现在做它们的时候，把东西放进一个锅里，加热或者做别的条件，拿到产物，效率有高有低，可能很好也可能很糟。无论哪种，尤其糟的时候，你还有别的小器具可以把东西弄干净，比如 HPLC 或者别的技巧。
伊恩：它们都不是很好的、真正能大规模并行的。所以能在极大规模上把东西纯化干净会非常好，因为我们想做什么？我们用这个我们已经描述过、给很多人带来创伤的古怪实验跑所有这些分子。
伊恩：如果之后能把大量分子放进另一种很干净、纯化好、好操作的实验里，再往下走，那就太好了，因为那时你就能真正正交地验证你做的所有测量。那会非常非常好。
伊恩：当然，所有人都在抱怨 GPU 之类的。除了 GPU，所有人都这么说。
31 / 1:49:14 收尾
主持人：好。那另一个问题是：你希望人们从这一期里带走什么？
伊恩：我希望人们带走的是：至少对我们来说，我们相信我们正在建的东西非常非常令人兴奋，它像是一种物理上扎根的底座，可以承载各种有意思的推理和生物医学应用。
伊恩：如果这让他们感兴趣，请联系我们。我们在招机器学习的人，我们想和合作方谈。我们正在建的这个东西，我们认为会有变革性，来找我聊。
主持人：太棒了。
伊恩：谢了。
主持人：太好了，非常有趣，谢谢你来。
伊恩：谢谢。谢谢。
References
- 1Leash Bio 官方博客《Making reality replayable》
leashbio.substack.com
- 2Leash Bio 官网
leash.bio
- 3Leash Bio 团队页
leash.bio
- 4
- 5BELKA 数据集（Polaris）
polarishub.io
- 6Leash 官方新闻与文章索引
leash.bio
- 7ChEMBL 数据库
ebi.ac.uk
- 8Boltz 开源结构模型
github.com
- 9Leash Bio 官方博客
leashbio.substack.com
Comments