会写病毒的模型，也最会认病毒

AI 写出的基因组已经能活了：16 条 AI 设计的噬菌体在实验里长了起来。1而能认出它们的，是同一批模型。2门槛正在下降。3

按官方 13 段章节顺序整理，时间码为官方视频口径（1:31:59）。4 本期是 Latent Space「AI for Science」分档，主持为 Brandon Anderson（Atomic AI 机器学习科学家）与 RJ Honicky（MiraOmics 联合创始人兼 CTO）；嘉宾是埃里克·阮，Radical Numerics 联合创始人兼 CEO，HyenaDNA 与 Evo 的第一作者。3

基因组语言模型（gLM）就是在 DNA 序列上训练的大语言模型：训练它的不是关于生物学的文本，而是生物学本身那串字母。公司给自己的定位是这条线的下一段——「不只是读，也要能写」，也就是能生成新的 DNA 序列。如果 AI 既能读、也能写 DNA，那么科学发现、对人类健康的理解、以及怎么治疗，都可能被改写。3

他们最早做的是 HyenaDNA：用 Hyena 卷积算子代替注意力，在单核苷酸分辨率上做到 100 万 token 上下文，比此前基于 Transformer 的基因组模型长 500 倍、训练快 160 倍，28 项下游任务里 23 项拿到最好成绩。5 这一步解决的是「读」：给一串 DNA，预测它的调控功能与对基因组的影响。难点在长程——有用的信息常常隔得很远，而上下文一长模型就开始退化。随后是 Evo：第一个把「生成」带进基因组的模型（70 亿参数、13.1 万碱基上下文），它给出的演示是 CRISPR-Cas——一种同时由 RNA 和蛋白质组成、要跨两种模态才成立的分子机器，此前没有人做过联合设计。6

2025 年 9 月，Arc Institute 与斯坦福的一组人（King 等）用 Evo 1 与 Evo 2，以裂解性噬菌体 ΦX174 为模板从头生成整段基因组，实验验证拿到 16 个可存活的噬菌体——这是人类第一次从地基往上写出一个能活的基因组。冷冻电镜显示其中一个的衣壳里装着演化上离得很远的 DNA 包装蛋白；多个噬菌体在生长竞争里比模板本身更适；一支鸡尾酒在三种大肠杆菌上快速克服了 ΦX174 的抗性，指向噬菌体疗法。1 起点选噬菌体，是因为它是最短的基因组之一——大约只有 6,000 个碱基对。4 埃里克说这条结果之后他收到大量来信，一半兴奋、一半担心：如果这段代码可以被写出来，接下来会发生什么。也是从这件事起，这家公司把「防」写进了使命。

Evo 长于跨模态，但在人的遗传学上不如专门的序列到功能模型，社区里因此有人说：既然小模型更好，为什么要用一个巨大的语言模型。埃里克的回答是：基因组模型此前几乎全部停在预训练——它们是「没有被对齐过的基础模型」。自然语言模型好用，是因为预训练之后还有一整套 mid-training、post-training 和对齐。Omnii 是第一个走完这一步的基因组语言模型：把任务格式（野生型序列、突变序列、请找出因果变异）直接摆进训练里。7

基因组里编码蛋白的部分不到 2%，其余大部分是调控信息；传统的临床解读工具和多数蛋白模型都盯着那 2%。7 临床上没被认识的位点就是变异意义不明（VUS），医院手里有大量基因数据却搞不清是 DNA 的哪一部分致病。做法上，语言模型的原始输出是「下一个字母是什么」的概率，把野生型与突变序列分别喂进去得到两个似然分数，取比值就是「惊讶因子」，不需要额外训练，也就是零样本口径。基准方面，ClinVar 非编码 SNV 上 Omnii 的 AUROC / AUPRC 是 0.975 / 0.735（Evo 2 7B 为 0.879 / 0.425，Borzoi 为 0.848 / 0.173，EVEE 协方差探针为 0.942 / 0.646，CADD v1.7 为 0.909 / 0.289）；非编码插入缺失 AUROC 从第二名的 0.969 推到 0.994；50 bp–100 kb 的拷贝数变异从 CADD-SV 的 0.664 推到 0.773；TraitGym 复杂性状 AUPRC 0.410，高于 CADD 的 0.284 与 Borzoi 的 0.297。7 埃里克说，CADD 之所以一直是天花板，是因为它本身就是取最好的方法做集成——把厨房水槽都扔进去，所以他们的目标是在每一个方法上都击败它。节目里也直接问到了数据泄漏：公司有一组生物信息学家做去重、比对和清理，凡是与基准接近的序列就从训练数据里剔掉；他也承认这类风险极难彻底排除。

链式思维来自自然语言社区：模型在你「把过程写出来」的时候表现更好。DNA 里没有词，所以他们换了个写法：拿一批带适应度分数的 RNA 适配体，把表现最好的那一批抽掉，只按分数从低到高喂给模型，再让它接着往下走。模型把没给它看过的那一段更高分复现了出来。7 数据来自一个 HIV 靶点的适配体实验：先用下一代测序并行读出成千上万条序列的结合信号，把结合得好的再突变、再测，一轮一轮迭代，单次实验能并行探索 10 的 11 次方量级的序列。换句话说，筛选本来就是生物学在做的事，模型要学的是把中间每一步看成一条轨迹。埃里克说这一组目前还是计算实验，湿实验验证正在进行。

公司的题目是通用生物智能：把蛋白、RNA、表观、代谢、甲基化这些模态统一到 DNA 这一层。埃里克对「虚拟细胞」的批评很直接：只建模转录本就宣称理解一个细胞，是把系统的一个传感器当成了系统。他说下一代模型会越来越多模态——是几十种；自然语言还不是其中一种，但以后会是，而且语言接进来之后链式思维与编排工具就自然了。3

他们与一家国家实验室合作，设计能从矿石里选择性提取稀土元素的蛋白。难点不在结合，而在选择：对目标矿物结合强、对别的矿物结合弱，每一类各有一个分数。埃里克承认那种只设计结构的蛋白任务不是他们的强项，但在稀土这个例子里，可以把「这是你应该去寻找新蛋白的微生物邻域」作为上下文提示给模型，再把目标蛋白上游的非编码区喂进去，让它给出自然界里可能出现的变体。他的说法是：基因组是物理世界刻进 DNA 的印记，所以你要的那一段周围的部分，也在告诉你它为什么长成这样。3

人基因组约 30 亿碱基，Omnii 的窗口是 200 万——还差三个数量级。7 主持人把这个问题直接摆上桌：怎么把一个长但有限的上下文用到整个大生物体的合成生物学上。埃里克的回答解释了这家公司为什么是一家 AI 研究实验室——长上下文不是买得到的能力，是需要一直往前推的研究方向，公司的名字就是这么来的。他也说，想让他们分心，就提 kernel。3

他们本来在做语言模型，发现自己的模型在长上下文上很强，于是问：要用长上下文的地方在哪里？最后落到 DNA——它是最长的序列。当时别人在 DNA 上用的上下文，是一次一两千个 token。埃里克说他拿着「如果我生成 DNA，你会拿它做什么」这个问题跑了六个月，几乎每个斯坦福的科学家都觉得这是个蠢主意：你拿它做什么；人类自己都不懂规则，凭什么觉得 AI 学得会；你没法告诉它对错；DNA 太吵，里面大半是垃圾。他说自己就是固执。3 他说服了 Arc；第一次训练完全不知道会不会成。第一个结果是有人把最早的 checkpoint 丢进 ProteinGym，它和专门的蛋白模型打平——而它从没被告知哪一段是蛋白。之后 RNA、DNA 上陆续到最好成绩，跨模态能力开始出现。后来 NVIDIA 支持 Evo 2，Greg Brockman 从 OpenAI 请了四个月假来帮忙。38

他们把模型看过的信息理解为一种压缩：压缩的过程里，它把数据提炼成关键组件与模式。工作就是去探测模型到底把什么蒸馏进了权重、激活和输出——从最简单的 GC 含量、重复序列，到转录因子 motif，再往上是「疾病的流形」。转录因子是能结合 DNA、改变基因表达而不改动序列本身的分子，它们本身也是编码基因、会互相调控，组合空间大到没法手工遍历。埃里克说，DNA 只是其中一个传感器：蛋白、RNA、表观基因组、染色质可及性、甲基化都是传感器，而那片空地还完全是绿的。3

公司的「双重使命」是：造的能力和防的能力是同一批权重——一个擅长生成的模型，结果也很擅长判别一段序列是不是致病。2 埃里克说，他前一天在一场关于 AI 科学 agent 的小组讨论上问过一圈：都说生物武器是最大的风险之一，那你们在做什么？他说他没听到任何答案。生物防御大致有四根柱子：检测与监测、归因、对策、威慑，他们聚焦前三根。2

现有的病原筛查基本都在做序列比对：把序列对齐到一份已知病原数据库，看像不像。它可靠，但问的是一个很窄的问题。序列和功能不是绑死的：隔得很远的序列可以做出同样的功能，几乎一样的序列也可能行为完全不同。自然界一直在这么玩，而这些模型让你能故意这么做——功能一样、字母多样。2 微软研究主导的 Paraphrase 项目做过一件红队性质的事：用生成模型改写已知毒素的氨基酸序列，保持功能、改变形态，再拿数千条变体去撞现有的 DNA 合成筛查工具，参与方包括 IBBIS、IDT、Twist Bioscience 这些站在合成与筛查链条上的机构。9 官方给出的一个量级例子是：尼帕病毒融合蛋白 442 个残基，1,680 条改写里 932 条（55%）同时通过结构与折叠置信度两道筛子，乘起来结构上可行的改写空间约 10^156——比可观测宇宙的原子数（约 10^80）还多 76 个数量级，枚举不是一条路。2 现有工具守住了高序列相似与高结构相似两个角，空着的是两样都低、只剩功能还在的那一角。埃里克说，他们的第一个动机就来自 DNA 合成这条管道——在一个网上到处是 agent 的世界里，它们在替人下单，却没有任何工具告诉它「你正在造的东西危险不危险」；多数合成公司确实有检测工具，但他的判断是那些不是 AI 做的、也不够健壮。主持人拿网络安全类比追问，他的回答是：基因组不能打补丁，所以问题不是「能不能百分百拦住」，而是「有没有把前沿技术用到防御这一侧」。他把它叫军备竞赛——设计的一侧会越来越能干，防的一侧只能尽力往前赶。最后两问：如果拿掉一个瓶颈，他先给了个耍赖的答案（GPU），第二个是「懂这一行的人反而更容易对它悲观」；他希望大家带走的是——你不必在前沿技术和自己真正在乎的题目之间二选一。3

底稿是官方 YouTube 同名单集视频的完整英文字幕（16,966 词）；专有名词、数字与议程用官方单集页、Radical Numerics 官方博客、Arc Institute 与斯坦福那篇噬菌体论文、以及微软 Paraphrase 项目的公开材料核对后校正。只保留中文译文，不保留英文原文，不做压缩、摘要或删减。说话人标签以节目自述为准：开场自我介绍由布兰登念出（他自报姓名，并介绍搭档 RJ）；此外两位主持人的快问快答无法逐轮区分，凡不能由内容确定归属的主持人发言一律标「主持人」。开场第一段是官方视频的冷开场，内容是片尾那段「军备竞赛」的节选，按原样译出。

片头：设计的一侧会越来越能干，防的一侧只能尽力往前赶。所以这件事天然就带着一段军备竞赛式的动态，而防的一侧落后得非常非常远。我们想做的是把防的一侧拉回到大致齐平。作为一个实验室，我们觉得很重要的一点是：同在建设计能力的那支团队，其实也最适合去建防御能力——因为它们基本上是同一批模型。一个擅长生成的模型，同时也很擅长判别、或者说预测一段序列是不是致病。对我们来说，作为一家公司，拥有双重使命非常重要：清醒地意识到，并且愿意为我们在设计这一侧放出来的能力负责。如果我们真的要造出能把功能设计进序列的模型，我们就认为、也确实看到，在「公司能不能守住这项技术」上存在一个缺口。 布兰登：欢迎来到 Latent Space。我是布兰登，在 Atomic AI 做 RNA 药物。和我一起的是我的搭档 RJ·霍尼基，MiraOmics 的 CTO 兼联合创始人。今天非常高兴请到埃里克·阮，Radical Numerics 的 CEO 兼联合创始人。埃里克在 Chris Ré 的组里读的博士。在长上下文和基因组模型流行起来之前，他就在琢磨怎么把长上下文做进基因组模型。他是 Evo 生成模型的第一作者，我觉得他基本上就是那件事的愿景来源——那是第一批生成式基因组平台之一；后来又做了 Evo 2，再自然不过地走到了 Radical Numerics。谢谢你过来。我漏掉什么了吗？ 埃里克：讲得挺好的。 埃里克：谢谢，谢谢邀请。 主持人：埃里克，那我们先说 Omnii，还有你们那篇做基准测试的博客。不过我想先听清楚一件事：什么是基因组语言模型？我为什么要关心它？它能做什么？然后我们再聊博客里那些主要结果。 埃里克：基因组语言模型，或者说 GLM，就是一个在 DNA 序列上训练的大语言模型。它非常像你看到的自然语言聊天机器人，只不过训练它的不是词、不是自然语言，而是生命的原始织物——那些组成 DNA 的一串串字母。我们自己、我们这家公司和团队最有名的事，是造出了第一批生成式基因组模型：它们在 DNA 上训练，不只是为了读，也是为了写，也就是说，能够生成新的 DNA 序列。我们觉得这块领域被忽视了；如果 AI 能读、也能写 DNA，那它能改变的会很多——科学发现、对人类健康的理解、以及怎么去治疗。所以我们觉得「用基因组训练 AI」这里有一个很大的机会。 主持人：有了这样一个模型，你有可能做哪些事？ 埃里克：从我们这边说起。我们最早做 DNA 模型的时候，做的那个模型叫 HyenaDNA。它是个大语言模型，但它用卷积代替了注意力——这里稍微技术一点。DNA 有一个性质：它非常长。而当时的大语言模型对上下文有很强的限制，也就是能吃进去的序列长度很有限。所以我们在找一个更高效的算法来处理像 DNA 这样的东西。于是我们提出了所谓的 Hyena 算子，用卷积。长话短说，它让我们能处理更长的序列，在这里做到了一百万——在当时是一个语言模型最长的上下文。我们拿它做的事，是用它来读 DNA、预测功能：给一串 DNA 字符，我们预测它的调控功能，它对一个基因组的影响。 埃里克：这对科学家很有意思，因为我们身体里的大量 DNA——也许很多人不太意识到——其实我们对基因组的了解并不多。我们知道它显然编码了「怎么成为我们」的信息，知道它承载着种种复杂性和潜在疾病；但与此同时，那些字母怎么组合、组合起来编码什么、又怎么编码出功能和性状，这套语法规则并没有被完全理解。所以我们的希望是，用这些 DNA 语言模型，从原始的 DNA 序列里映射出一些功能。 埃里克：所以我们的第一代模型展示的是：是的，我们可以训练 AI 去读、去在某种程度上理解 DNA 序列，尤其是我们所说的长程相互作用——跨越很长距离的相互作用。你拿聊天机器人打比方，如果听过「上下文腐烂」这个词：你塞进语言模型的输入越长，它就开始退化。所以能在长序列上捡起长程信息和模式、模体、语法，正是我们想做到的。我们在第一代 HyenaDNA 上展示了这在超过一百万的上下文里是可行的。 埃里克：而真正开启现在这个「生成式基因组学」领域的，是叫 Evo 的模型。在 Evo 上我们想展示的是这个想法：不只是读 DNA，还要能生成它。我们想加速生物学家和科学家从生物学、特别是基因组学里学习的方式。我们觉得，生成式 AI 用在语言上，极大地加速了我们对自然语言的理解和操纵能力；但这里还有另一种语言——DNA、基因组——我们并不理解它，而 AI 几乎还没有被用上去。在几年前我们看到的那些模型都很小、上下文很短，只能捡起很小的模式和有限的上下文，而且没有一个会生成 DNA，它们全都只是读。而我们觉得生成这个想法在自然语言里是那么强大、那么有变革性，那如果把它带到生物学、特别是 DNA 上会怎样？有什么是实验室里做不到、而它能做到的？ 主持人：那它为你解开了什么？如果你能把这件事做得非常好。 埃里克：我觉得最早让大家对这种潜力感到好奇的演示之一，是一个 CRISPR-Cas 系统。它是一种能切 DNA 的酶。Evo 模型特别解锁的，是不只生成一种模态、一类序列，而是跨多种模态、跨多个尺度地生成。CRISPR-Cas 是一个同时由 RNA 和蛋白质组成的分子，所以在当时，你还没怎么见过能生成多种模态的模型：你可以有生成蛋白质的蛋白质语言模型，有时候有能生成 RNA 的 RNA 模型，但你没有过一个单一系统去联合设计。我们展示了单个 DNA 模型——DNA 是它们共同的基础，从 DNA 你可以得到 RNA，也可以得到蛋白质——我们能用单一系统去设计、并且在真实世界里起作用。 埃里克：所以我们把一堆天然的 CRISPR-Cas 系统喂给 Evo，然后问它：你能不能做一个新的出来？我们从训练好的模型里采样，确实展示了 Evo 能发现一个新的 CRISPR-Cas 系统。大家对此很感兴趣，上了 Science 杂志封面，后来我还有机会为这项工作去做了一场 TED 演讲——这挺有意思，因为那个听众非常大众化，你得去解释什么是 CRISPR-Cas 系统、什么是 DNA、你怎么生成它、你为什么要生成它，全是很好玩的话题。 埃里克：而我觉得更有意思、更让人兴奋的是，科学家们后来——就在去年——用生成式 DNA 模型展示的一件事：从头生成第一个基因组。这是人类做不到的事。人类通常的做法你可以理解成复制粘贴：拿别的基因组或其他 DNA 的部件，放进另一个东西里；或者只取出他们知道功能、理解规则的一小段模体。但从零开始、从地基往上造，在基因组这个层级上此前没人做过。而 Evo 恰好能够生成一个有功能的基因组，在这个例子里是一种噬菌体，也常被叫做病毒。这对科学界、对我们 Radical Numerics 这家公司来说都是一个关键转折点，因为我们觉得这是那种潜力的一次很有代表性的显现：造出一个自然界不存在的完整生物体——同时也意味着潜在的危险。如果你能操纵生命本身的织物、控制它的功能，那意味着什么？你把什么东西放进了这个世界？ 埃里克：所以我们收到了很多反馈、评论和来信，有人兴奋，也有人对这项能力、这类能力以及它的走向感到担心。这只是早期阶段，是你能想象到的第一个东西，能顺着它去推演接下来会走到哪里。所以我们作为一家公司觉得，重要的不只是推进这些模型的生物学设计能力，也要把它们当作防御工具来用，去应对可能出现的误用和生物风险。 埃里克：而且我觉得，很多公司、很多前沿实验室也在担心这个正在出现的风险：AI 模型有能力设计生物序列。但与此同时，它主要是从自然语言那一侧被防守的——比如各种安全护栏，像 Claude 那样的东西：你只要聊到病毒，它就直接把你掐掉。这挺好，我认为某种程度上一你需要自然语言这一层的护栏。但我认为你显然也需要生物序列这一层的护栏。你需要模型不只是理解语言、理解你这段对话的走向，还要理解底层的基质本身——这是下一步，也是最终的边界。如果模型能理解一段序列是不是致病、是不是病毒，那才是你想要的防御能力等级；再往外推，就是监测系统、国家安全层面的东西：能在环境里监测正在出现的序列。这一类能力让它成为可能。而我们认为，把这种前沿技术带给那个群体，和使用它来做人类健康——那也是我们主要关注的方向——同样重要。 主持人：你刚才讲了一条演化线：HyenaDNA，然后是 Evo、Evo 2，现在是 Omnii。你能不能讲一下，Evo 和 Evo 2 在很多任务上打不过那种专用的模型，而你在博客里说，Omnii 在一大批任务上其实已经能超过它们了。我们能不能聊聊这个？ 埃里克：Evo 在很多方面让大家感兴趣。它展示了应用到多种模态上的潜力，但它在很多方面仍然不如专门的 DNA 模型，尤其是人的遗传学、基因组学上。所以虽然 Evo 有竞争力，但它还不是最好的、也没怎么推动这条线。社区里有些人的想法就是：既然我可以用那些更小、更专门的模型，为什么要用一个巨大的语言模型？ 埃里克：所以我们想在 Omnii 上做的，是很多事中的第一件——展示 mid-training 和 post-training，或者说广义上的对齐。我们理解生物学、尤其是基因组学里的语言模型的方式是：你基本上只见过被训练出来的 base model，也就是预训练过的，但它们基本上是没有对齐的。类比自然语言那一侧，就好像你把预训练全都做了，但要让它真正在真实世界里有用、能回答用户真正想问、并且以他们觉得有信息量的形式呈现的问题，还需要一大堆对齐、post-training 和 mid-training，才能让它具备可交付的状态、真正有用。 埃里克：所以我们觉得 Evo 展示的只是预训练的潜力，而 Omnii 是往前一步，让它对科学家这样的人真正可用。我们在对齐和 mid-training、post-training 上花了很多时间，本质上就是把任务以一种人们理解基因组学时会想要的形式呈现出来：给你一个野生型和一个突变序列，帮我找出因果变异。这类问题和形式，并不一定能从预训练里自己长出来。预训练就是下一个 token 预测或者填空。我的理解是：原始的模式识别能力是在预训练里教进去的，但把学到的那些 embedding 或特征指向具体任务、或者一组任务，并且对齐它——让它以对你来说有意义的方式输出——需要一点调教和摆弄。到目前为止，自然语言社区里做这类研究的主要是前沿实验室。我们想把那一大批研究、以及更多的东西带进基因组学。 埃里克：所以我认为 Omnii 真的只是一个展示这种潜力的预览。而且我觉得，哪怕你只做到一点点，结果也会让你意外：它开始拿到最好的成绩、开始推动边界——不只是像 Evo 那样在多种任务上「有竞争力」，而是真的把每个方向的前沿往前推：变异效应、预测、疾病的因果突变，它可以开始对人类的基因组学真正有用了。我们非常兴奋能把这些分享出来。它之所以只是一个预览，是因为我们还在继续训练、还在往模型里加更多技术，比如更多的模态。但我们当时就是太兴奋了，想快点把它交到大家手里。 埃里克：早期兴趣里我们也收到了一些反馈：很多医院系统、非营利组织手里有大量基因数据，比如他们知道病人有某种症状或状况，但搞不清是 DNA 的哪些部分导致的。这就是所谓的 VUS，变异意义不明。我们非常兴奋能把这类模型用上去，真正帮到这些病人的诊断——这是一个真实应用的例子。

主持人：我想过一会儿再聊应用，但现在纯从技术角度我很好奇：对齐一个基因组模型，长什么样、意味着什么？我能想象大语言模型里有一条自然的链式思维、有强化学习，这里有一套很清楚的范式。我好奇的是，对一个基因组模型来说它长什么样——也许把它描述成「用另一种语言做微调」更合适？ 埃里克：嗯。 埃里克：我觉得在很多方面，它确实可以被描述成微调，但关键在于把输入的结构摆对：按一定的顺序喂进去，让模型知道现在被问的是哪一类任务。所以会混进一批特殊 token——你可以理解成，如果要做 A 疾病的预测，就期待这个特殊 token，差不多就是给它一个提示的方式。如果要做设计，就用另一个特殊 token，然后像链式思维那样把示例摆出来，也就是把一串期望输出和它的轨迹展示给它看。 埃里克：这里说得有点模糊，是有意的，因为这是我们还在开发的独家配方的一部分，我们也希望随着时间把越来越多的东西展示出来。但很多方面它确实在模仿自然语言社区的做法：很大一部分是微调。不过真正做的事，是把你想让它专注的那些特定数据集切出来，再把问题或任务以特定方式组织起来。 埃里克：而预训练呢，预训练其实就是把它全部喂进去，做下一个 token 预测，或者如果你做的是掩码语言建模就做掩码填空，它完全没有这种问答结构——没有「有一个问题、一个提示，然后一个输出」的概念。你可以把 mid-training 和 post-training 理解成开始向它展示：给定这类输入，我期待这类输出——不管是一个预测分数还是一个设计。这些主要由 mid-training 和 post-training 完成；post-training 里也包括强化学习之类的东西。但我觉得更大的跨越是引入问答这种结构。至于是不是给模型多个头、每个任务一个，还是训练一组头能同时回答多个问题、只换输入 token——都可以。 埃里克：嗯，宽泛地说，我们在这一点上是灵活的。我们的想法更偏向统一。早期实验里我们确实用过不同的头，有些情况下不同的头效果更好，有些情况下统一、也就是单个头单个模型效果更好，所以我们在这上面很灵活。但我觉得我们大致的方向是单个模型，这背后有一个特别的动机：我们想解锁大量的模态、大量的泛化能力；我越能把模型做得统一，就越会看到更涌现的能力。这在很大程度上就是推动 DNA 这条线的理由。 埃里克：我们觉得很多模型都被专门化到了别的、离 DNA 更下游的模态上，比如 RNA、蛋白质或分子。我们大致认为 DNA 是地基，从 DNA 你可以学到相当多其他模态、甚至可能是全部模态。我把其他模态理解成给模型看的额外上下文——这是我脑子里的一个哲学看法。所以「单个模型、跨模态统一、可扩展」就是这家实验室在做的、也是它要走向的方向。 主持人：你能不能过一遍你们在博客里讲的几个任务，讲给只听音频的听众听，然后说说那些主要结果？我们可以稍微深入一点。 埃里克：好。这次 Omnii 的发布里，我们觉得特别值得展示的一个方向，是理解变异及其效应。DNA 里的变异，就是在某个位置上变了一个字母——变成另外三个字母里的一个——有时候会导致疾病，有时候什么也不做；实际上很多次它什么也不做。但基因组里有特定的区域，如果你在那里换一个字母，它就会致病。 埃里克：而且在很多情况下，因为基因组里这些变化在三十亿个字母上的组合实在太多了，临床医生和科学家其实只认识其中很小一部分：哪些变异是致病的、哪些不是。所以有一些从不同医院系统、诊所收集来变异的基准，一部分是已知的，一部分还是未知的。人们从 ClinVar、TraitGym 这些来源建了一些基准，核心问题就是：给定 DNA 里的一个突变，你能不能说它会不会致病？ 埃里克：这对 DNA 模型来说是非常合适的设定，因为它们是概率模型。当你做出一个改变时，它其实会改变模型对下一个字母预测的置信度、概率。我们在这里用的就是模型这种可预测性。它们在训练中看过非常多的 DNA、尤其是人的 DNA，所以大致理解什么是常见的——通常在人群里常见、或者在不同人之间保守的东西，一般也意味着更健康。反过来，如果它不常见，模型就能捡起来，预测它可能是致病的。 埃里克：我们拿了一些这样的基准。变异有不同类型：有时候你整个删掉一个字母，有时候只是翻转它，有时候去掉一大段 DNA。但这些大体上都是单点变异。而在这类任务上，此前的 DNA 模型特别吃力，尤其是在人的序列上。我们展示的是：它不只是有竞争力，在很多情况下是最优的——实际上在大多数这些情形里都是最优的。我觉得真正让人兴奋的是，别的前沿模型以前落后得比较多的地方，正是基因组里那些区域。 埃里克：基因组里有编码区和非编码区。蛋白区域指的是真正编码蛋白结构的那些区域，另一类区域做别的事，比如调控哪些基因被表达。 主持人：嗯。 埃里克：所以这些非编码区主要是调控性的：它们控制某个基因要用多少、什么时候用、要不要打开。而在很多情况下，这些非编码区、这些调控区里的变异，要判断它会不会致病，难度大得多。我觉得我们正在用 Omnii 建的这一代新模型，最让人兴奋的一点就是：这正好是我们强的地方——模型能够捡起这些非编码区、尤其是长程区域里的突变，并且分辨它是否致病。 埃里克：所以我认为很多遗传学家会为此特别兴奋，他们过去一直很难用传统的生物信息工具或统计方法，因为那些方法基本只盯着编码区，而编码区只占基因组的百分之一到二。结果发现，很多、甚至大多数疾病其实在这些非编码区里。所以一直有一种真实的需求：要有模型能真正捡起这些非编码区里的致病变异。 主持人：我有好几个问题。先说第一个，趁我们在这里，也给听众交代一下：这张基准表的博客里有一列叫 Borzoi，是参考文献四。也许可以讲点来龙去脉——这一列代表什么？也许它也能帮我们理解最右边 Omnii 这一列。 埃里克：说得好。我们在这里展示的，其实是从深度学习这一侧、以及传统方法这一侧各取一些最有代表性的、或者最强的模型。Evo 2 是我们团队此前做的最新一个基因组模型。然后是 Borzoi，它也是一个 DNA 模型，但是完全不同的一类：它本质上是一个监督模型，从 DNA 预测功能基因组轨道。所以它本身也是多模态的，但它不是语言模型——它不做下一个 token 预测，它从 DNA 序列直接映射到一条功能基因组轨道，比如染色质可及性或者基因表达。 主持人：而这些轨道是被写博士论文的人大量标注过的。 埃里克：对，对。所以关键区别在于它是个监督任务：它需要带标签的输出。而我们的语言模型不需要标签输出，我们是在没有标注的序列上做原始预训练。那为什么这值得追求？因为有更多的数据——大量基因组数据是没有标注的；实际上大部分、几乎全部都还没有标注。所以能无监督地学非常有价值。我们想展示的，就是在原始基因组序列上预训练的好处，同时把它和其他方向的、DNA 领域里最好的模型做对比。 主持人：那当我们说无监督的时候，这个性质是怎么起作用的？你怎么样把模型的输出变成可操作的、比如排序分数之类的？ 埃里克：我前面讲的：训练 Omnii 的时候它是预训练的，所以是无监督的；但当你要把它指向一个具体任务时，就有一个监督的步骤——你只是取一个更小的、带标签的数据集。本质上我们用的是似然分数，也就是语言模型的原始输出，你可以把它理解成预测下一个字母的概率。我们可以给出突变与野生型各自的概率分数、似然分数——也就是参考基因组里看到的那个序列，和这个突变之后的序列。这样我们就有了两个分数，然后取比值，展示这个突变离常态、离基线到底有多远。 埃里克：你可以把它理解成一种「惊讶因子」，模型能用它、能借此发力，我们就用它去给出疾病或不致病的预测。这样说清楚了吗？ 主持人：清楚。 主持人：那么 Omnii 是自回归的，还是扩散的，还是别的什么你不能告诉我的？ 埃里克：哈哈，这次我们确实不描述它的确切构成。 埃里克：Evo 是自回归的，我觉得它是第一个大规模的自回归模型。对我们来说，我们不会把自己绑在一个特定的训练目标上，基本上工具箱里的每件工具我们都会用。 主持人：好。不过就这个具体的基准而言，你是一路走过去、只用 token 的似然分布：有些 token 模型认为不太可能出现，那大概是因为某种演化上的约束——这种形式不常出现；因为它不常在基因组里出现，所以它多半会带来麻烦，人也就活不下来。所以你认为这个基本上就是你的排序指标？ 埃里克：这是对模型怎么想这件事的一种解读，和自然语言里你可以用同一套范式来描述它非常相似。 埃里克：而在 mid-training 和 post-training 里还有额外的机制去利用更多东西。 埃里克：因为我们可以把特定的结构和基准教给它。 埃里克：所以它能在你刚描述的那一层之上继续搭——那层说的是自然界里什么是常见的；而因为它现在是一个针对疾病变异预测的具体任务，模型在 mid-training 里被引入了额外的训练，来增加额外的学习能力。 主持人：能举些例子吗？这部分大概也算独家配方，但你能不能给个大概，看起来是什么样，你会往里放哪些东西？ 埃里克：我们其实会把分数本身也放进去。我刚才提到的那个比值——野生型对突变的比值——那个我更愿意说是零样本方法，你完全不需要做任何 mid-training，Evo 2 在这一列做的就是这件事：它基本上没有微调。有一列叫 EV，是人们拿 Evo 2 的分数去做微调，那是 Goodfire 的工作，我们也很尊重他们；他们展示的是这些模型在你微调之后也能拿到最优的结果，不只是零样本。 埃里克：而我们的模型在此基础上又上了一层：不只是微调，还把结构引入模型本身——我说的结构是指这些基准的格式，那种问答式的格式，在 mid-training 期间就引入，这给了我们额外的提升。但我觉得还有一个好处，我们在博客里没有强调太多，但对科学家的实际使用来说非常方便：你做这件事不需要先把 embedding 取出来、再在上面接一个头、再做一次快速回归——那是额外的一步、额外的门槛。你能想象 ChatGPT 如果每问一个问题都要先为某个领域做一次微调吗？我们做到的是：模型在 mid-training 期间就在很多任务上一起被训练，所以最后那一步「训练 embedding」根本不需要做。到那个程度它就是开箱可用的：你只要按某种格式写提示，那种格式告诉它你要做哪个任务，它就会按你想要的格式给出答案。

主持人：你们在设计这套 post-training 方案的时候，对数据泄漏有多小心——比如和 ClinVar、TraitGym 这些数据集之间？你有多确信没有泄漏，不管是意外的还是上游带进来的？ 主持人：因为如果这些序列里很多也出现在你们的训练数据里，我一点都不会意外——哪怕是无监督的那种。 埃里克：简短的回答是：我们对数据泄漏的风险极其清楚，而且这件事极难，要避免误导、要小心，非常难。 埃里克：所以是的，我们有生物信息学家，能够把数据梳一遍、做整理、去重、做序列比对，确保那些可能和基准里相似的东西不在里面；如果在，我们就把它去掉。所以我们确实有相当大范围的数据 QC 步骤。 主持人：好，酷。在我们往下走之前我想说，看到这些监督方法——之前有好几个数字，怎么说呢，是落在误差棒里的，甚至有的直接就把之前的方法打败了—— 主持人：而现在你们在上面又有了明显的改进。 埃里克：对，我们非常兴奋。我觉得很长时间以来，有一个方向、或者说另一种方法叫 CADD，它一直是最优的，而且它最优是有道理的：它的设计就是取最好的方法做集成——它会拿另一个方法，哪怕那个方法是之前的另一个模型，也会把它和一个 SVM 混在一起，基本上是把厨房水槽都扔进去，所以你能看出它为什么最好。那对我们来说就是那道杠。我们想的是：如果他们都要把厨房水槽扔进来了，我们就不能只挑一个模型说我们比它好。我们要击败现在人类可能做到的上限，而且是全面击败。所以我们的研究员就把目标定在了那里，去看能不能在每一个方法上都把性能提上去。 埃里克：我还挺想看的——节目里有一些关于链式思维的讨论，我第一次听的时候脑子有点转不过来。 主持人：第一次听的时候，我真的很想听你讲讲那到底是什么意思。 埃里克：嗯。 主持人：我是把博客翻来覆去读才搞明白的。 埃里克：是。我觉得这真的只是我们觉得设计能力能走向哪里的一个尝鲜，也是让它对大家更可用的方向。链式思维来自自然语言社区。我相信 OpenAI 的 Jason Wei 最早展示了例子，而那里的突破在于：这些语言模型在你「把过程写出来」的时候表现更好——展示你得出一个结论或一个论证的步骤。结果发现，哪怕那些步骤很简单，它也给模型一个机会——也许是哲学层面的，谁知道它为什么有用——本质上是喂进更多 token、给它更多草稿空间去想。 埃里克：所以人们认为这就是这些语言模型推理的开始：这种通过自己对自己思考、得出一个答案的能力。它在语言上相当成功，非常成功。这也是为什么你看到很多 agent 会花掉大量 token——就是在展示自己的工作。 埃里克：在生物学里，这个范式的痕迹非常少。我们开始在蛋白质设计里看到一点点。所以我们想推一推，展示这件事——首先要探一探，在 DNA 里它可能吗？在基因组学里它到底意味着什么？因为你并没有词去描述它在想什么。你怎么把同一套范式搬到 DNA 语言模型上？ 埃里克：所以我们做了一个在很多方面都更简单的版本。我们手上有一个 RNA 适配体的数据集——可以把它们理解成带某种适应度分数的目标序列。我们拿这个大的数据集，里面有 RNA 输入和一个适应度分数；分数越高越好，这是最简单的版本。数据集很大。 埃里克：我们想展示的是：如果我们把 RNA 按分数一步一步、越来越高喂给模型——先给低分的，然后逐渐往上走——模型能不能自己接着这条轨迹走下去？到最后一步，它会不会自我优化到一个自己可能达到的最好分数？那就是实验。我们能做到吗？ 埃里克：所以我们取了一个大的适配体数据集，把表现最好的那一部分留出来，只给它看分数较低的那些，但是排好序。我们按顺序展示分数越来越高的 RNA 适配体，然后让模型就按照这个模式继续往下。结果它能够把一些我们没给它看过的高分序列复现出来。 埃里克：我们现在实际上正在做湿实验验证。所以这次没能展示出来，但我们很想知道：它能不能不只在这种计算层面做到——这一点它已经做到了——展示它能接着这条轨迹走下去、设计出合理的、适应度更高的适配体。如果这在实验室里也成立，我们认为这是一个极其有价值的范式，几乎可以套用到其他每一类序列上。通常你手里有的就是：一条序列，加上某种适应度分数或期望输出。如果我们能让模型最终学会那个结构——给它看一串逐步变强的序列，它就能把剩下的预测出来——那会是一个非常强大的范式。

主持人：说实话我有点吃惊，这个任务居然出现了这么强的改进。也许是我个人的偏见，但 RNA 是出了名地缺少好的共演化数据——也就是用来约束结构的那种共演化信息。对病毒基因组来说，经常有很强的演化压力；但对哺乳动物来说，RNA 通常没有被施加演化压力，我想这个领域非常清楚地看到过这一点：主要的压力是 RNA 会编码、会承载编码信息。 埃里克：对。 主持人：所以我在想，基因组承载着很多种不同的信息：它们编码蛋白，有调控元件，不同基因组的结构类型也不一样。我想问的是：你觉得这项能力可能是在这个语言模型的哪里冒出来的？ 埃里克：这是个好问题，老实说我也不确定——我们也很意外。一个原因是，模型是在 DNA 上预训练的，只是在 RNA 上做了非常轻量的 mid-training。我觉得你对 DNA 承载着大量演化效应或信息的直觉，大概就是答案所在。所以这提示了为什么我们认为先在最基础的基因组上、在 DNA 上做预训练是如此重要，然后再往上加别的模态。 埃里克：因为你能得到大量迁移；而模态上的泛化正是我们在追求的东西。我还没讲到的一件事，是这家公司也在做的：走向通用生物智能，把生物学里那些所谓的不同「语言」或模态统一起来。归根到底它们都源自 DNA，而我觉得人们还没有充分利用这个事实——通常是高度专门化的、领域特定的模型，或者模态特定的模型，而没有利用其他模态之间大量内在共享的结构。 埃里克：一个例子是虚拟细胞。「虚拟细胞」这个话题稍微有点跑题，但人们谈它的时候往往只盯着 RNA、只盯着转录本，然后想泛化到描述整个细胞。可一个细胞显然比这多得多。在我看来，如果你想学一个系统，你就要从这个世界的所有信号或传感器上去学。如果它是一个细胞，你就要融合、理解 DNA，理解代谢组、表观基因组、蛋白组——那才是你更接近所谓虚拟细胞的时候。而在我们看来，我们甚至不想停在细胞上，我们想融合整个生物学里所有这些传感器。它会不会把我们带到一个理解每一个细枝末节的超级智能？谁知道。但我相信这种范式会让我们比现在走得远得多。我的标准就是：你能不能做出比现在有用得多的东西？ 主持人：嗯。 主持人：所以我很好奇：你们是聚焦在真核细胞吗？还是聚焦人基因组？你们有没有走到病毒基因组这一步？病毒里有大量 DNA 病毒，但 RNA 病毒序列看起来也很多，我不确定它们从训练角度会有多大不同。 主持人：我想知道这个范围有多大，如果你能讲的话。 埃里克：当然可以。我们对生命的所有分支都感兴趣。这里我们特别聚焦在人身上，因为我们觉得这是此前的模型——Evo 和 Evo 2——不强的地方，而且我们收到很多反馈，问这些模型到底有什么用：它们理解不了人的基因组，因为那套语法和规则太复杂，DNA 太吵、重复字符太多，诸如此类。所以我们要展示的是：我们认为这其实有用，而且可以应用到人身上——某种意义上人是最复杂里的最复杂。但我认为这些模型有机会被普遍应用到生命的每一种形态上。 埃里克：所以我们对原核生物、对病毒都绝对感兴趣。病毒尤其重要，因为生物防御和生物安全。而且我认为从微生物生命里我们也有很多治疗上的应用可以学。有人提到，有人用它生成了第一个 AI 基因组——一个噬菌体。噬菌体其实有可能用于解决 AMR，也就是抗微生物药物耐药性：如果你身上有一种超级细菌感染……全世界每年仍然有大约两百万人死于细菌感染。用设计出来的病毒去靶向特定细菌这件事已经做了很久，特别是在东欧。这里有一个潜力，去做出一类新的抗微生物药物——不是抗生素，但非常类似，可以像抗生素那样使用。所以我们倾向于那些影响大、有潜力救人的方向。我们不会只停在某一类基因组上，只要是能造福人类的，我们都感兴趣。 主持人：也许回到我刚才那个关于 RNA 的问题——预测 RNA 演化的一条链式思维轨迹。我很好奇：这个模型是在 RNA 序列、或者可能有演化压力作用在 RNA 结构上的序列上训练过的吗？ 埃里克：只在 mid-training 阶段。预训练全部只是基因组，是 DNA。 埃里克：所以唯一引入 RNA 的时刻，就是为了这个特定的任务，而且只是这个数据集里的 RNA，甚至没有外面的。 主持人：我明白了。所以这个模型里确实在某种程度上有东西编码了 RNA 的结构，也许吧。 埃里克：或者说是隐式地。 埃里克：嗯，我会说是隐式的。因为—— 主持人：这挺酷。 埃里克：对。因为我们从蛋白质那里知道，序列本身—— 埃里克：——按理说就应该能从序列本身隐式地学到结构。 埃里克：对，所以我们现在不加入二维或三维信息。但我们绝对计划要加。 主持人：好。那么，先让我确认一下我对链式思维的理解：这一组是个演示，但背后的想法是——只要你能拿到一个数据集，里面有某种「按顺序越来越好」的度量，它大概就是这项技术的候选。对吗？

主持人：那你能不能就这个具体实验讲一下——让我们理解链式思维是怎么映射到这个数据集上的，以及数据集必须长成什么样。你能不能说说，这份数据是怎么收集的，才能让你从适应度准确地映射到数据的某一个阶段或某一部分？ 主持人：这部分我可以补一点背景，如果你愿意的话。这里的想法是：你先随机生成一大堆序列，然后拿这些序列——你有一个适配体的结构，本质上是一个 RNA 开关，当某个东西跟它结合时，它会做某件事，比如把一个序列切下来；你可以用 NGS、也就是下一代测序去做非常高通量的读出。所以你造出很多很多条不同的序列。我记得这个例子里它们靶向的是一个特定的 HIV 蛋白或者基因组之类的；如果它结合上去，你就能拿到信号——那一条的读数更多。所以一条序列在周围漂着、能被结合的概率越高，它的适应度就越高。然后你把这些拿去再突变，再迭代。 主持人：对吧？所以这是一个迭代的实验，你在用培养皿一步步把最适的东西找出来。 主持人：然后你在这里做的事，基本上是把同一个实验放到计算里做一遍。 主持人：而他们实际做的时候通量非常高——我记得大概是 10 的 11 次方这个量级，非常高的数字，一次并行探索的序列量。 主持人：但关键在于，真正在做筛选的是那个实验本身的生物学。 埃里克：对，对，没错。所以你可以想象还有别的类型的实验，可以套用同一个想法：你在做的其实是某种逐步精炼，这在生物实验室工作里非常常见。如果你把这些中间状态捕捉下来，你大概就能把它们喂进模型，做这类事情。 埃里克：完全正确。另一个例子是抗微生物药物耐药性——我们对这个也非常感兴趣。能够选择性地靶向特定菌株、或者杀死特定菌株，这件事基本上是拿一个 0 到 1 的分数来衡量的：做得多有效。那么展示一系列越来越有效的噬菌体基因组，配上它们各自的有效性分数，就非常契合这个范式。 埃里克：我们还在和一家国家实验室做另一个设计任务，领域对我们来说很不一样：设计用来提取稀土矿物的蛋白质。而且你会发现，你关心的不只是「能结合的蛋白」，你还要它有选择性——要结合到某一类稀土矿物上。所以会有分数，对应它对每一类矿物的亲和力、结合力。我们想用同样的思路去做稀土：给它看一系列逐步变得更理想的分数——不只是对目标结合得强，还包括对其他矿物结合得弱，从而做到选择性结合。 埃里克：所以这里面的创造力在于：你可以把序列和期望的设计、期望的序列，配上某种适应度或功能输出，用相对直觉的方式展示出来，让人可以仅仅靠提示工程去设计。我觉得这一点非常值得进一步探索。 主持人：接着稀土提取这个话题——我觉这是个很有意思的用例。事实上可能还是一个你们未必有比较优势的方向，因为看起来你们的强项更可能是在更大尺度的设计上、跨整个生物体的设计，而聚焦在单个蛋白上可能更像一个结构任务。我很好奇：回到 ClinVar 那个话题，这里的主张是模型现在是对「哪类突变常见、哪类不常见」的一个非常好的统计表征。 主持人：而且我认为，如果你想设计结构，你就要理解结构；如果你想理解疾病，我认为对很多疾病来说更自然的其实是群体基因组学那种方式。所以我很好奇：你觉得在这种策略上，你们最强的竞争优势在哪里？你觉得你们的模型除了功能之外，也理解结构吗？ 埃里克：嗯。 埃里克：我会说，把我们吸引到这个稀土应用上、以及我们认为自己的强项总体上适合它的，有两点。第一，我认为是在上下文重要的地方。你说得对——那种只设计结构、不涉及别的的蛋白质设计任务，不自然是我们认为自己有竞争优势的地方。但在稀土这个例子里，我们的假设是上下文重要；而这里它可能重要的地方在于：某些微生物身上带着拥有我们想要的功能的蛋白。我们可以把「这是你应该去寻找新蛋白的基因组邻域、微生物邻域」作为上下文提示给模型。所以这其实更像一种「采矿」式的练习。 埃里克：我们能给模型喂进那些蛋白质结构模型给不了的东西：我们可以在感兴趣的基因或蛋白质之前，把上游的非编码区喂进去。 埃里克：然后让模型给出变体：在保留「你在这类微生物里」这个前提的同时，把这个蛋白突变掉，给我看你在自然界里见过的不同变体，或者把自然界里见过的不同东西组合起来。我认为这就是为什么我们能造出演化上非常多样的序列、甚至可能是噬菌体。有人用 Evo 模型做过非常类似的事，做的是毒素—抗毒素系统：他们在感兴趣的蛋白上游做提示，然后让模型生成一大堆可能是合理的东西。 埃里克：我觉得对稀土这个例子来说这特别让人兴奋，因为我们可以提出合理的变体，然后相对简单地去测试它们结合什么、选择性地结合什么。对我们的这个合作方来说这很有意思——他们关心的比如说是为美国从战略上保障稀土供应链。所以我们觉得这绝对是一件值得支持的事。 主持人：所以你的意思不只是你在设计一个蛋白质，而是你在设计一个能产生这个蛋白的生物体，而这个蛋白有它的作用—— 埃里克：——或者说，要设计它的方式，是你得理解在生命之树里，蛋白质和稀土、和某些矿物之间的相互作用是怎么发生的。 埃里克：对。我会说在这个稀土的例子里，我们其实并不太关心那个生物体本身、不关心去设计整个生物体。但我认为这个生物体确实能告诉我们哪些蛋白是合理的、以及它们的选择性从何而来—— 埃里克：——或者说它们是怎么演化的：不只是围绕蛋白本身，还包括它周围的调控元件。 埃里克：这能帮我们收窄范围、提供额外的上下文。我把基因组、或者说 DNA 大体上理解成物理世界在 DNA 上留下的印记。所以 DNA 里有我们想要的那些部分，但那些部分周围的东西，也在告诉我们一点它的来处、以及它为什么会获得现在的功能。所以我觉得，回到「上下文」这个词——在不少这类应用里，上下文是重要的。 埃里克：我认为（在生物学里）上下文非常重要。我觉得我们最大的瓶颈之一，就是缺乏上下文，以及我们人类处理生物学的方式太工程化——总想着把单个系统隔离出来；而系统生物学式的做法很难拿到任何有意义的、定量的预测能力。 主持人：也许有点跑题，但我很好奇：从上下文想到一个生物体，上下文怎么扩展上去？你现在说的是 200 万长度的上下文，对吧？

埃里克：对。 主持人：你知道，我印象里人基因组大概比这长一千倍。而且就算是细菌基因组，如果你要工程化它们，也比这个长不少。那你怎么用一个「长但仍有限」的上下文，去做跨越整个大生物体的合成生物学？ 主持人：不过也许先给点背景——Evo 2 那个噬菌体设计是怎么做的？那个大概也远超 200 万吧。 埃里克：好，Evo 噬菌体那件事我可以讲一点，因为那其实是另一个小组做的。但那个上下文其实很短。他们从噬菌体开始，正是因为它属于最短的那批基因组之一，我记得大约—— 埃里克：——6,000 个碱基对左右。 主持人：那真是……是，非常短。太疯狂了，它们效率极高。 主持人：就那么点东西，影响却很大。 埃里克：对。 埃里克：嗯，不过我觉得你这个问题——怎么用更小的东西拿到更长的上下文——是一个非常关键的问题，我想整个 AI 社区一直在试图 埃里克：解决它，并且不断想新办法。我觉得这在很大程度上就是我们作为一家公司为什么首先是一家 AI 研究实验室：我们认为创新必须被持续推动。这不是一个我们可以拿开源模型来用、然后指望我们关心的那许多任务自动被解决的领域。我们想不断把边界往前推。所以上下文是我们驱动的关键研究方向之一。我大概也可以说，我们的名字就是这么来的——在长上下文还「不是一个东西」的时候，我们就在做长上下文了，大概是 2023、2022 年。 主持人：长上下文。你和你的团队、你的合作者在这一串状态空间模型上有很长的历史，一直在推上下文，在当时看起来简直不可思议。 主持人：现在我觉得这已经很常规了，教科书里都是大块大块的。 主持人：但在当时那是长了几个数量级。我不知道你想不想聊一下这个。我还觉得有一点特别有意思： 主持人：对这个模型和其他模型，你们都是从第一性原理出发——扎进 GPU 是怎么工作的、去设计那些利用 GPU 架构的模型。不只是「我们做一个更长的」，而是「给定算力约束，我们还能做什么特别的事」来把边界推出去。 埃里克：绝对是这样。如果你想让我们 Radical Numerics 的研究员分心——这就是「用极客话题把极客钓走」的方式。你一提长上下文、kernel、GPU，他们就会说「等等，谁在说 kernel？」然后就开始琢磨怎么把东西做快。 埃里克：对。长上下文在我心里有特殊位置，因为那是我在斯坦福读博时专注的方向，也是我们开始思考 DNA 的起点。往回说一点、当个乐子：我们当时在做一般的语言模型，然后发现我们的模型在长上下文上很强；于是我们就这么进了这个领域——哦，这些模型在长上下文上似乎真的很高效。然后我和我的同门 Michael Poli 一起，他做了 Hyena 这个卷积架构的初版设计，我们开始想：让我们再往前推一推，看看如果我们真的拥抱长上下文，会打开哪些新应用。我们就问：最长的序列在哪里？最后不出意外地落到了 DNA 上——DNA 有三十亿个碱基对。 埃里克：然后我们开始想：那边在做什么？别人在用什么样的上下文长度？他们做的是超级短的，一次一两千个碱基对或者 token——比你在 DNA 上真正想要的要小得多。 主持人：我的意思是，大多数人类转录本也就 3K 左右。所以那甚至不够你去表征一个蛋白，大多数时候都不够。 埃里克：所以那里显然有需求，而且被忽视了。我们把它看成一条路：先看看我们能不能做点我们完全不知道会不会成的事，也不知道谁会想要的东西。我们就开始瞎折腾，结果发现，相对而言几乎不用怎么调，它在读 DNA 上就做得相当好。 埃里克：之后就变成：好，大家一直在问 DNA 的事。他们其实没那么在意我们语言那边的成果，他们会说：你能不能做更长？你拿它还能做什么？他们总是问「你能拿它做什么？」而我们当时真的不知道。 埃里克：然后不知怎么的，就停在了这个想法上：没有人去写 DNA。我们能不能让它写 DNA？那其实是个很简单的问题，回头看甚至是显然的——你当然会想要写 DNA、设计 DNA。但当我第一次向别人推销 Evo 这个想法时，我花了六个月——用生物学的说法这也许不算长——花六个月到处去说：如果我能生成 DNA，你觉得有用吗？你会拿它做什么？你会投我们吗？你会想参与吗？ 埃里克：结果很疯狂：我在斯坦福谈过的几乎每一个科学家都觉得这是个蠢主意。我说「这会特别酷，生成 DNA 能加速这个领域多少」，然后他们会说「你拿它做什么？」我说「我不知道」。接着我就会收到这类评论：「这不可能。我们人类都不懂那些规则，你怎么能指望 AI 学会？你甚至没法告诉它是对是错——你没法跟 AI 说『对，这个对／错』，那它怎么学？」或者说重复字符太多、DNA 的分布太吵、「里面根本没有真正的规则，只有一堆垃圾」。所有这些理由我都听过，而我就是特别固执：一定能找到生成 DNA 的用途，我就是觉得对，只是不知道那是什么。所以它真的是一次「看看会发生什么」的实验。 埃里克：我们第一次训练 Evo 的时候，我记得我们完全不知道它会不会成。完全不知道会有什么东西冒出来。我们只想着：那就训一个大的。这其实挺荒唐的。但不知怎么的，Arc 那边的人就说「行啊」。 主持人：好啊，为什么不呢？ 埃里克：为什么不呢？看看会发生什么。花点钱买 GPU，让这几个疯孩子训一个模型。我记得第一个结果回来的时候，我们起了鸡皮疙瘩：哦，也许这里有东西。那件事是有人把最早的 checkpoint 拿去丢进 ProteinGym——一个蛋白质基准——结果和专门的蛋白质模型打平。我们想：这挺让人吃惊的，因为我们从没告诉模型哪些是蛋白质、哪些不是。 埃里克：而且那里面既有蛋白也有 DNA。所以我觉得第一件让人吃惊的事就是：它居然能和专门的蛋白质模型竞争。那是第一次体验。然后一个接一个地来：哦，这里也有竞争力；哦，在 RNA 和 DNA 上到了最优；我们开始看到，它能跨不同模态学习，而不只是 DNA。然后我们就觉得：好，这里确实有东西。事情就这么走下去了。 埃里克：后来 NVIDIA 的人说：我们来支持 Evo 2，把它做得更大。再后来 OpenAI 的 Greg Brockman 说：我从 OpenAI 请四个月假，来帮这几个疯孩子一把。那段时间就是凌晨三点在 Slack 上跟 Greg 一起调我们的代码，这挺疯的。 埃里克：所以整条轨迹在很多方面都非常出人意料；但与此同时，我们还是收到很多反馈：这些模型到底有什么用？在真实世界里它们有什么用？这才真正推动我们去创办一家公司。我们觉得我们展示的只是学术味道的一点尝鲜。 埃里克：就像语言模型刚出来的时候，人们问的是同样的问题：这些东西有什么用？哦酷，它能给我写几个笑话。这会通向……某种能自动化一切的东西吗？他们当时并不这么想，他们觉得那是个玩具。它有涌现的能力，而人们会顺着它外推潜力。在很多方面，我觉得我们在 DNA 上看到的，比那段轨迹更让人兴奋、也更让人想起它当初的样子。 主持人：但 Evo 2 展示噬菌体那件事，是不是没有说服力？我是说，就像你说的，那几乎是个吓人的例子。所以对人们来说那不是一个「灯泡亮了」的时刻？ 埃里克：是，有些人确实。我觉得有些批评是公平的、或者说很尖锐——你甚至可以扮演魔鬼代言人说：它生成的东西离自然界挺近的，你只是在一个很小的方差里做复现。所以我觉得有很多种方式可以批评、可以把它的潜力说小，而且这种论证可能是公平的。 埃里克：所以在这个阶段，我们认为更重要的不是只推科学、说「酷，这件事能做」然后就把它当成一个思想实验放在那里，而是：我们怎么真的用它去改进人类对疾病的理解、改进治疗、做出更好的稀土提取器？我们怎么让这件事真的有用——这是我们作为一家公司现在关心的，除了那些更偏科学的问题之外。

主持人：所以这也许是个好过渡。它引出了两件事：一是博客最后那部分机制可解释性的工作，二是生物安全那部分。我觉得这两个都是重要的应用。我们先把机制那部分做了吧。你能不能讲一下——这其实也是在 Evo 的工作上往前走：我记得 Evo 那篇论文里就有一些机制可解释性的工作，他们在讨论反过来问模型、从模型里提取关于生物学的洞见。 主持人：而这已经变成了一个常见的主题，我想在生物学里可能比在任何别的领域都更常见：因为这是一个科学问题，模型在学关于这个世界的模式，所以你可以问：你到底学到了什么模式？ 埃里克：对。我认为机制可解释性在生物学里是一个正在出现的方向，我们非常兴奋，但坦白说我们在这一块还处在很早的阶段。我们正在把这个团队建起来。目前我们展示过、也让我们兴奋的，主要是分析模型里的 embedding 和一些激活。 埃里克：生物领域的机制可解释性现在很大程度上是从自然语言社区借来的。你可以把模型在做的事理解成把它看过的大量信息压缩起来；在这个压缩过程里，它其实是把这些数据提炼成关键组件、关键模式，帮它理解数据、或者说学到数据的分布。我们想做的是去探测模型：它到底把什么蒸馏进了自己的权重、激活，或者输出里。 埃里克：我们从模型的输出开始，也就是激活。我们想看能得到什么样的结构、什么样的可视化，来帮我们理解 DNA 的一些复杂性——那太多了。这些复杂性可以包括 GC 含量、某些转录因子的模体，还有一堆调控类的模式和模体。我们相信模型为了完成任务必须捡起这些东西：要判断一个变异是否致病，它大致就得把各种不同的模体压缩、蒸馏进模型的权重里。我们的工作就是把这些找出来，看能不能提炼出一个可以推广到那些我们还不理解其模式的新情形上的规律或结构。这就是大致的方向。 主持人：在这个例子里，GC 指的是那两个核苷酸在某段序列里占的比例吧。 埃里克：正是。就是基因组里 G 和 C 这两个字母的比例——这算是里面比较简单的东西。同样简单的还有重复序列的数量。转录因子模体，或者说 TF motif，是另一个对大家特别有意思的东西：因为我们最终会走到能设计转录因子那一步，也就是说，我们会通过 ChIP-seq 之类的模态得到特定的转录因子模式。 主持人：转录因子是——你继续说吧。 埃里克：转录因子是能结合到 DNA 上、并改变基因表达模式的分子。所以它有一种调控作用：它不改动 DNA 本身，但能改变 DNA 的效果、以及 DNA 造出来的产物。这在基本上你身体的每一件事上都会有影响：它能改变疾病状态，也能改变——我想很多衰老相关的研究就围绕着转录因子的设计。 埃里克：所以我们认为，能通过 DNA、以及别的模态去理解其中一些模体，最终会让我们有能力去设计转录因子的结合模式。我觉得这非常让人兴奋。在很多方面，要学清楚这些转录因子——什么结合、结合在哪里、造成了什么效果——这个组合空间大到根本没法手工遍历。所以我们要用数据驱动的方式去学这些模体的一部分。 埃里克：这里复杂的一部分原因是：转录因子本身也是编码基因，所以它们之间可以互相调控，这就是那个组合效应的来源。 主持人：嗯。给只听音频的听众说明一下：我们一路在往上走，从 GC 含量这种越来越复杂、层级越来越高的因素，一直走到疾病——那大概是你能想到的最复杂的东西——你在分析里也指向了它。 埃里克：对。我们做这个预览的第一个想法、也是我们大致在往那个方向努力的东西，是「把疾病的流形映射出来」。这里的流形指的是模型内部那种表示空间：疾病在模型的输出分数或 embedding 里长什么样。我们相信，从理解这些输出的过程里能挖出多得多的结构。所以去映射这个流形、或者说这片疾病的景观，显然疾病有很多种，我认为这对我们会是一个很大、很让人兴奋的研究方向，也是我做生物学的一个动机。 埃里克：我觉得我们还只是刚碰到表面。因为如果你能从 DNA 这一个传感器里就拿到这么多干净的、这么多洞见——而 DNA 在我心里只是你最终想融合进生物学建模的传感器之一——那么在所有模态上都做类似的事……我指的所有模态是蛋白、RNA、表观基因组、染色质可及性、甲基化模式，所有环绕 DNA 的这些不同类型的分子表型。这个摆在我们面前的机会太大了，完全是一片绿色的空地。我还没见过有人把机器学习、深度学习里这么高水平的技巧，用到我认为会是 AI 最重要、影响最大的那个理解和应用领域上。这就是我们兴奋的地方。我们展示的只是一个预览，一个只基于 DNA 模型的非常简单的预览。而我们的下一代模型会越来越多模态——我们说的是几十种。对我们来说这是一个非常令人兴奋的时刻。 主持人：关于这一点插一句：自然语言是其中最主要的一种吗？ 埃里克：还不是。 主持人：还不是。 埃里克：对，但以后会是。关于怎么把它和生物融合，有很多问题，但我其实觉得会相对直接。对我们来说更棘手的是怎么融合那些生物学的信号。融合语言——我们在图像、视频空间里都有很多例子，所以我们对此比较有信心，也做过一些和语言结合的早期实验；我觉得当你把它和语言连起来时，它会让更多人能上手。真正还没被解决的配方，是怎么在生物学的各个模态之间做这件事。 主持人：它看起来就是做链式思维的一个自然方式，对吧。 埃里克：正是。 埃里克：完全正确。我认为尤其是当你开始有那种通过编排工具产生的链式思维时——比如我们前面聊的那些——把语言纳进来已经是很多人心里的想法了。 主持人：如果没有别的问题，我们来聊生物安全那部分。 埃里克：对我们来说，作为一家公司，我们觉得拥有双重使命非常重要——我们把它叫双重使命，意思是：清醒地意识到、并且愿意为我们在设计这一侧放出来的能力负责。

埃里克：如果我们真的要造出能把功能设计进序列的模型，我们就认为、也确实看到，在「公司能不能守住这项技术、确保它被负责任地使用」上有一个缺口。而且这个感受越来越强。我昨晚刚参加了一场小组讨论，主题是能做科学发现的 AI 科学 agent；最后一个问题是：AI 学会做科学之后，最大的风险或末日场景是什么？他们每一个人谈的都是生物武器。 埃里克：与此同时我很好奇：那你们这些人在为这件事做什么？基本上我没听到任何回答。然后我去看这些公司——名字我就不点了——他们在那方面没有大的投入。 埃里克：所以不管怎样，我们作为一个实验室觉得重要的是：同时在建设计能力的那支团队，其实也最适合去建防御能力，因为它们基本上是同一批模型。一个擅长生成的模型，结果也很擅长判别、或者说预测一段序列是不是致病。 埃里克：所以我们觉得，这从原则上是必要的——既要做生物安全，也要做设计；同时从策略上讲它也是成立的。我们觉得这一点在我们团队里引起了共鸣，在更大的社区里也是——包括美国政府里的人，也包括国外的。确实存在一个缺口，也确实需要有一类实体来做这件事。所以我们觉得有必要把它写进我们的使命。 埃里克：对我们来说，我们已经做、并且计划做的事是：生物防御、生物安全大致有三到四根不同的柱子。第一根是检测与监测：你能不能从环境里检测出某段序列里有病原、有可能致病的东西——比如机场的鼻拭子，或者污水系统采集样品。 埃里克：第二根是归因：一旦你检测到一个危险的东西，你能不能判断它从哪里来——是自然的，还是来自国外某个地方，还是某个国家的某个实验室被人工程做出来的。这能帮你判断该拿它怎么办。 埃里克：第三根是对策：检测到、弄清楚来源之后，你能做什么——你能不能做出一个对抗物，一个抗病毒或者抗微生物的药物。第四根大体上是威慑，但那更多是政府层面的事。我们主要聚焦在前三根。 埃里克：所以我们造的工具是：给一段序列，能检测它是否致病。但我们觉得社区里缺的，不只是宽泛地判断「它是否致病」，而是把它彻底表征出来：序列里哪些部分是危险的、哪些基因在起作用；以及给它做归因——不只把它的序列拿去和数据库比对，而是能够从它的特征上判断来源。 埃里克：还有一个很大的组成部分，是让它从一开始就真正有效：生物防御这个社区大体上聚焦在序列比对上——拿一段序列，把它对齐到一个已知数据库，看「我以前见过这个吗？它是不是匹配这份已知病原清单？」但我认为，正在出现、并且让很多实验室担心的是两点：第一，新东西——如果它不在你的清单上怎么办；第二，那些被人故意混淆、让它在序列空间里检测不出来的东西——也就是字母不精确匹配，但功能空间里仍然成立。 主持人：对。 埃里克：对，因为我们正在放出来的模型，将来会有功能感知、或者说结构感知的能力。具体地说，你可以有一段序列，它和某种病原拥有同样的功能，但字母上看完全不一样。你其实可以从我们屏幕上这个东西想象出来——那还是机制可解释性那张图：模型内部构造出了这么一个流形，它在编码这些功能，也编码别的。所以你可以想象它怎么会说出：哦，这个在基因上相当不一样、或者至少有些不一样，但它仍然有相似的功能。 埃里克：正是，正是。所以我们在那篇防御博客里谈的，就是这种「功能相似、但序列开始分离」的东西——功能一样，但看起来不一样。这在自然界里会自然发生，而这些 AI 模型让你能做的，是故意这么做：拥有同样的功能能力，但字母上多样、拼法上多样，描述的却是同一件事。 埃里克：在这个例子里，微软有一项工作叫 paraphrases。类似奖励机制的做法：他们展示的是，你可以用蛋白语言模型去保持同样的结构——结构意味着相似的功能——但改变拼法。而且不只是这样，他们还想测：如果你有这个能力，把这样的东西送进现有的检测系统，会不会把系统打穿？它到底能不能检测出来？ 埃里克：我觉得有一个也许大众不知道、但大多数生物学家都知道的事实：有一些 DNA 合成公司，你可以把一段设计发过去，然后拿回一个 DNA 分子，就像收到一个亚马逊包裹。你把它发出去，他们就会把对应的实体 DNA 制造出来寄给你。这是整个科学界赖以运转的管道：它让人们能做研究、理解生物学、做出药物，所有这一切。所以它很普遍，而且是公开的。 埃里克：所以我认为，让一些人担心的一件事——也是我们刚开始做这件事时担心的一件事——是：在一个 agent 在网上遍地都是、大概是几十亿几万亿个 agent 在互联网上构建、采取各种行动的世界里，它们居然没有任何工具能告诉它，自己正在做的东西危险不危险。所以那其实就是我们最早的动机：我们应该做点东西出来，能检测某个东西是否危险。 主持人：所以你们是在给这些制造商做一层过滤——他们可以问：我正在造的是什么？这个东西危不危险？ 主持人：也许你需要一个例外机制：如果我是某个有牌照的实验室，我在做危险的东西，我知道我在做，请你还是让我做。 埃里克：各种情况都有。那是其中一种场景。公平地说，很多 DNA 合成公司确实有检测工具。但我会强烈地推测：它们不是基于 AI 的，而且大概也不够健壮。 主持人：对，它们基本上都是模式匹配。 主持人：抱歉，这个问题也许我该晚点问。我只是好奇：所有做生物的人，都试过用 Fable，然后不管你打进去什么，立刻就被拦出来。 主持人：比如我的网站。 主持人：对，对。你在 Fable 里什么都做不了。但对于那些探索合成生物学、创造新序列、设计新序列的科学家来说，看起来你很难拿到一条能接受的 ROC 曲线——既不会阻碍正当的新科学研究，又能拦住危险的东西。就算你有一个 0.9 的 F1——而你现在离那个还远——如果有几十亿条序列、一年里生成这么多，我觉得这仍然很容易……这看起来是一个非常难的平衡。 埃里克：是，这是个很难的问题。我们大致是这么看的：如果我们想的是「怎么 100% 拦住危险的设计」，那是个更难的问题。我们问的问题不一样：在能力、设计这一侧，已经有足够多的人在推前沿；那么在防御这一侧，我们看到前沿技术被用上去了吗？答案是：没有。所以我们看到了一个巨大的缺口，我们想过来帮它一把、给它一个助推。 埃里克：从这个角度看，对我们来说选择很容易：把防御这一侧推上去，让它在和设计这一侧的对抗里处于更好的位置。它能解决所有问题吗？那是我们想去追求的，但现实一点说，总会有能绕过去的案例。我认为这也是为什么我们认为语言模型、聊天机器人那一层的安全只是一个层面；你说得对，有些东西怎么都会溜出去。那这些已经溜出去的怎么办？它已经过了聊天机器人那一关——它已经帮某个人造出了危险的序列，东西已经在外面的世界了。 埃里克：我觉得我们这些工具的好处是：我们要造的是给那些关心「已经在外面的东西」的人用的工具——它已经出现在环境里、已经流到某个地方了；而现在有整个生态系统需要我们去加强：做监测的、做归因的、做对策的。我们想给这个社区一个提升，为那个空间造更强的工具。要在那里有用，它必须完美吗？我不这么认为。我觉得我们可以在不完美的情况下帮上忙、把生物防御这个社区往前推，把 AI 技术、AI 前沿技术带过去支援他们。 主持人：也许换个说法：在这个时间点，你要防的威胁模型本身都还不清楚。而目前这些能力根本还不存在。所以你提供一个东西出来，然后这件事就能在一个更大的监管框架、政府框架或者非营利框架里被继续推进——你提供的是一块社区可以往上搭的基石。 主持人：就算它不完美，它也是提供了一个起点；而如果你手里根本没有工具，那什么都做不了。 埃里克：对，标准就是「有没有改进」。标准就是：你现在在哪？我们能不能把这个指针推动一点？ 埃里克：我们能不能从基于序列的匹配、对齐、比对往前走？绝对可以。我觉得这里有很多空间，而且兴趣只会增长。我们在监管这一侧也听到很多声音——不同的政治人物、不同的智库人士。看起来大家确实在动员起来。所以我们对这件事能落地、能进入更多人的视野、让他们真的去行动而不只是谈论，是乐观的。因为现在感觉谈得太多了。这也是为什么我们觉得：那就把工具造出来、放出去、让更多人能用。因为一直有很多关于 AI 公司「应该做生物防御」的讨论，然后呢——那是什么意思？你打算做什么？这就是我们的做法。

主持人：那我替反方把话说得漂亮一点。你能不能切到另一张图——就是你有的那个——点上去会显示其他相似的化合物或者相似的基因组。可以说，站在反方的立场替他们辩护一下：如果你处在最前沿——看起来你是，而且你当然想往前推——你其实是在同时推动攻击和防御两条边界。那么现在你做的事显然是有帮助的，但如果你就在最前沿，长远来看这件事也许并不真的重要。你怎么看这个问题？我猜你大概只能去削弱别人正在做的事之类的。 埃里克：对。我想让大家开始思考的心态是：不要把这件事想成「好，我们做一个生物防御工具，然后就收工了」。它本质上是一场军备竞赛，和网络安全社区很像。你会造出更好的技术，尤其是像 Fable 这样的东西可能有攻击能力，那你就一定会有这种来回：设计的一侧会越来越能干，防的一侧需要尽力往前赶。 埃里克：然后这又会刺激对面的人继续往前，在设计那一侧也一样。所以我认为，这里天然就带着这种军备竞赛式的动态；而在我们看来，防的一侧落后得非常非常远。所以我们想做的是把防的一侧拉得更接近齐平。这就是我想的心态、或者说框架。 主持人：网络安全这个类比很有意思，但我觉得它在几个关键点上不一样。首先，在网络安全里，如果模型足够强，你可能真的能把所有漏洞都堵上——只要它不属于社会学层面的问题。有些东西确实永远很难、总有绕过的方法，但原则上你有可能抓出每一个漏洞。 主持人：然后你可以打补丁；只要人们保持更新，你就是安全的。可基因组是固定的——你不能给一个人打补丁。所以某种意义上，攻击面、或者说你防守的方式，要困难得多。 主持人：但反过来说，似乎也不那么可能有谁有同等程度的动机去发动攻击；而且从「你能打印出任意 DNA」到「造出一个成功的病毒」——尤其还是一个不会把设计它的人自己弄死的病毒——这中间的门槛其实相当高。所以我想问的是：在你看来，我们真正面临的单一最大的威胁是什么？ 主持人：有什么东西会让你睡不着、或者让你保持清醒吗？是某个具体的东西，还是说你就是觉得这件事必须做、那就去做？ 主持人：一是很难进入「想设计生物武器的人」的心态。 埃里克：对。所以我们并不试图去设想所有可能的人、或者所有可能的场景——那些坏人可能在想什么。我大体上担心的是：我们正在把这个门槛降低，公众需要的专业知识在变少，同时人们做出这类东西的速度在变快。这意味着量在某个时点会指数级上升。 埃里克：所以这里面有有意的一面：确实有国家行为体拥有过、而且非常庞大的生物武器计划。我们公司的一位顾问就亲眼见过那些设施，并且参与过拆除它们。所以我们听过很多关于国家确实有动机去造这种武器的故事。那是一条担忧。我觉得和平时期没那么可怕，战时尤其可怕。 埃里克：我也觉得无意的那一类，在近期也许更可能：人们在尝试生成东西、控制功能的时候，无意中——也许他们本来想造某个东西来理解、来研究，结果它跑出去了。因为这类东西可能很难被污染控制住、很难被封闭住，会有泄漏。所以我觉得那些场景看起来是最可能的。 埃里克：它让我睡不着吗？倒也未必。总体上我更多是个乐观主义者。我认为造这类技术最终是一道权衡利弊得失的题，而我认为好处远远大于潜在的危害。所以我们做这件事，是因为我们最终确实认为它会成为一个推动发现、改善人类健康的引擎。但与此同时，我们就是觉得防的一侧正在输掉这场军备竞赛。所以我们也在做那一侧，试着把前沿往前推。 埃里克：但总体上说，我认为无论是研究者这个群体，还是政策那一侧的人，这个社区都足够有韧性、有能力动员起来，跑到它前面去。所以我对这件事非常乐观。 主持人：有两个问题我们每期嘉宾都会问。第一个是：如果你能凭一句话拿掉一个对你很重要的瓶颈，那会是什么？ 埃里克：有意思。这个问题我能给两个答案吗？ 主持人：当然。 埃里克：我觉得第一个有点耍赖，因为每个 AI 实验室都会这么说：GPU。 主持人：GPU。这个答案我们已经听过好几次了。 埃里克：对，GPU。第二个我觉得在这个领域里更哲学一点：我们想做的事、想追求的事，是重新发明科学家在这个领域里工作的方式。我们碰到的一个障碍是——你在很多领域都能看到——一个人对某个东西了解得越多，他就越容易对它悲观。 埃里克：在生物学里你尤其能看到这一点：你对某个疾病领域、某种模态了解得那么深，然后有人引入了新东西，你就会说「可是这个呢、那个呢、还有那个呢」，他们非常悲观，而且很可能是有道理的。但我在公司里注意到的、也是我们努力去做的，是去找那种既懂这一行、又还在做梦的领域专家——他们仍然有想象力、有改变做事方式的意愿。我觉得这个障碍在这个领域里我们看到的太多了。如果我们更拥抱这一点，我们就能看到更多的进步、更多的台阶式变化，那是我很想看到的。 主持人：这就到了最后一个问题。 埃里克：好。 主持人：有没有什么话是你想让听众带走的，一条就好？ 埃里克：有。我想说的是：做 AI 研究的人常常觉得，自己不得不在两件事里选一件——要么做最前沿的 AI 技术，而那是消费者应用、企业应用，他们只能去写聊天机器人，那才是尖端技术；要么去做你真正在乎的事。我认为，当人们去想 AI 真正的潜力是什么，其中很大一部分是改善人类健康、理解我们的生物学，但人们觉得自己必须选：如果我做那个方向，我就没法待在前沿。 埃里克：我最想让大家带走的是：你不必选。我认为我们可以同时做你真正在乎的、你认为会推动人类的事情，又做最前沿的技术。这就是我们在 Radical Numerics 想建的东西。 主持人：是的，而且很明显——我也鼓励大家去读那些博客：架构、机制可解释性，为了造这些模型有大量创新在里面。我坚定地相信，生物学真的处在 AI 的最前沿。 埃里克：太好了。很高兴你这么觉得。太好了。 主持人：谢谢你来聊这一期。 埃里克：谢谢你，也谢谢你跑这么远过来—— 主持人：就在隔壁街区。 埃里克：随时都可以。谢谢邀请，我聊得非常开心。 主持人：太好了。谢谢。