Jeff Dean离职后首次公开访谈火力有点猛。。。
Jeff Dean 谈到 Gemini 早期 Coding 反思、TensorFlow 设计教训、Discovery Loop 的自动化科研设想，以及 AI 在网络安全上的能力边界。
梦瑶 发自凹非寺量子位｜公众号 QbitAI
Gemini 早期在 Coding 这事儿上，做得确实不太行哈。。。
要不说姐夫这人还是实诚呢～
从谷歌离职后的首次公开访谈，Jeff Dean 也没有藏着掖着，直接上演了一场「前员工锐评老东家」。
在斯坦福 2026 Frontier&Pioneer Symposium 上，Jeff Dean 一口气聊开了不少过去很少公开展开的话题：为什么离开谷歌、Gemini 为什么不够好、自己的科研秘诀，以及新公司 Discovery Loop 接下来准备押注什么。1
整场访谈听下来，信息密度相当高。Jeff Dean 给出的几个核心判断是：
- AI 在网络安全上的能力，已经可能达到顶级人类攻击者水平，甚至更进一步。1
- TensorFlow 当年有两个很明确的失误，Jeff Dean 自己也认。1
- 未来科学实验的一轮迭代，可能从一天、一周压缩到一分钟、一小时。1
- Jeff Dean 想做的递归自我改进，会覆盖模型参数、训练数据、评测，甚至模型架构本身。1
- 寻找重大研究方向时，与其精读 1 篇论文，不如先扫 10 篇，甚至 100 篇摘要。1
以下为本次访谈的重点内容实录。量子位围绕核心观点做了摘选整理，部分文字在不改变原意的基础上做了适度删改。
Gemini 早期在 Coding 上确实有所欠缺
Q：回头看 Gemini 的开发过程，最让你意外的是什么？哪些经验能够影响下一代 AI 系统？
Jeff Dean：Gemini 其实是 Google 内部几个更早研究项目最终汇合的结果，包括原来的 DeepMind、Google Brain，以及 Google Research 其他团队的工作。
当时，Google 内部有几支团队在做相近的事情：一边不断扩大模型规模，一边研究怎样让语言模型拥有多模态能力，能够理解图像等信息。
所以我当时写了一份一页纸的 Memo。我觉得，各自做各自的事情有点傻，大家应该直接一起做，把人员、想法和算力资源整合起来，训练一个从一开始就具备多模态能力的模型，把 Google 内部多个研究组织里最优秀的人聚到一起。
后来我和 Oriol Vinyals 一起发起了 Gemini 项目，担任最初的联合技术负责人，把这些团队真正聚了起来。
现在回头看，从一开始就让模型具备多模态能力，是一个非常成功的决定。因为如果一个模型最终要用于各种事情，它就应该同时理解文本、语言、代码、图像、视频、音频以及其他模态。
我们当时甚至在训练数据里放了一点 LiDAR 数据，至少让模型知道 LiDAR 这种数据形式的存在。之后进一步训练 Gemini 时，LiDAR 也可能成为一个重要的应用场景。
但当时我们希望模型在很多事情上都表现得很好，所以我觉得，我们对怎样把 Gemini 的 Coding 能力真正做到惊艳，重视得稍微晚了一点。后来我们意识到了这一点，也一直在努力追赶，现在已经有一些很不错的工作在推进。
Coding 是一个非常重要的能力。专门提升模型的 Coding 能力时，模型最后往往会变得更善于推理，因为写代码要求模型一步一步处理问题，把复杂问题拆成多个子问题，再逐个解决。Coding 能力提升以后，这种能力通常也会迁移到许多非 Coding 任务里。1
承认 TensorFlow 当年有两个明显失误
Q：回头看 TensorFlow，当时有哪些设计是你今天会重新考虑的？如果现在重新做一次，哪些地方会做得不一样？
Jeff Dean：我觉得，我们当时有几件事情确实做得不太对。
第一，TensorFlow 最开始没有加入 Eager Execution 这种模式。后来，这种方式在 PyTorch 和 JAX 这样的框架里变得很流行，TensorFlow 也把它加了进来。我觉得，这让整个抽象变得更好了。
第二个问题出在 TensorFlow 开源时建立的
contrib 子目录。这个目录允许许多外部开发者贡献辅助库和不同的实现方式。后来，这给社区带来了相当大的困惑。同一件事情可能有十种不同的做法，开发者到底该用哪一种，取决于自己用了
contrib 里的哪个子目录、哪个库。现在回头看，我们当时应该让 TensorFlow 核心保持更简洁，把这些东西作为建立在核心之上的外部库。如果今天重新做一次，我们不会再这么设计。
当然，TensorFlow 整体上仍然帮助了很多人真正开始接触机器学习，也让大家可以用一套共同框架解决自己关心的问题，这一点很有价值。1
离开谷歌的原因之一：小团队可以极致聚焦
Q：你为什么选择离开谷歌创业？相比大公司，小团队在做前沿 AI 研究上有什么优势？
Jeff Dean：我非常喜欢自己在谷歌度过的这些年。我在那里工作了 27 年，也有很多非常棒的同事。
所以我觉得，谷歌现在的状态很好，他们也有自己的计划，会继续把 Gemini 模型做得非常出色。与此同时，我自己也很期待出去做现在这件事情。
有时候，一家非常专注的小公司，所有人都围绕同一个使命工作，这种状态本身就很有吸引力。
今天的条件已经和以前很不一样了。云计算不断发展，各种云平台已经部署了大规模机器学习算力。一个很小的团队可以筹到一笔钱，然后直接使用这些基础设施，不需要自己从头建设整套系统。
所以，如果一小群人有一个梦想、一个愿景，或者有一个特别想探索的方向，现在完全可以在一个规模很小的组织里去做。团队可以依赖谷歌或者其他云服务商，让它们承担许多重基础设施工作。
对我们来说，现在作为一家小公司，最令人兴奋的一点，就是可以非常专注地做科学和工程自动化。
坦率讲，这件事情大概也可以留在谷歌内部做。但如果只有大概 10 个人，大家坐在 Palo Alto 某个办公室里，所有人只专注于这一件事情，那么大型组织里的许多轻微干扰就可以直接绕过去。
当然，大公司也有很多很棒的地方。我这些年在谷歌建立了很多很深的友谊，也从大型公司提供的资源和支持中受益很多。现在离开这些支持，确实会稍微让人有点紧张，同时也非常令人兴奋。1
离开谷歌后，想把科学发现变成一个可以自动迭代的 Loop
Q：最近大家越来越多地讨论递归自我改进：AI 系统能不能持续学习如何改善自己，甚至进一步加快 AI 发展的速度？你怎么看这件事？
Jeff Dean：用机器学习改善机器学习，其实已经探索很多年了。
我的联合创始人 Quoc Le 很早就在做 Neural Architecture Search：让一个模型自动生成模型架构，再根据学习速度、训练成本等指标不断获得反馈，逐渐找到更好的设计。
后来，他们还做了 Evolved Transformer，通过进化算法重新组合 Transformer 组件，最终找到的架构效率比标准 Transformer 高了大约 30%。
所以我一直觉得，让 AI 参与改进 AI 本身，是一个非常重要的方向。
递归自我改进真正要解决的问题，是怎样让构建一个模型所需要的整套东西，都能够通过自动化方式持续变得更好。
今天，通常会有一整个团队研究什么数据最有助于提升模型质量，需要什么评测来评价模型，以及应该选择什么模型架构。
我认为，这些环节未来完全可以形成一个有效的自动化 Loop。每个环节持续优化，再把结果组合到一起，最终改善模型整体的能力、质量以及数据组合。
很多现代科学和工程问题都有类似结构：先有一个大问题，再把它拆成许多子问题；针对一个子问题提出可能的解决方案，把方案实现出来，真正运行一次实验，再评价实验效果；最后把实验结果反馈回去，用这些反馈决定下一次应该做什么实验。
这就是最基本的科学方法，工程设计也是如此。人们不断迭代设计，再比较不同方案的各种属性。我们想做的，就是把这样一整个 Loop 越来越自动化。1
Discovery Loop 目标：让一个模型拥有「20 个博士」的科研能力
Q：你刚才谈到了递归自我改进，这似乎也和你刚刚成立的新公司有关。你们具体想做什么？
Jeff Dean：我们新公司 Discovery Loop 背后的想法，是希望把机器学习、科学和工程自动化，从而提高许多不同领域产生科学发现的速度。
一开始，我们肯定会先聚焦在少数几个领域，因为早期保持一定的专注很重要。但不同领域之间存在许多可以复用的基础设施和通用技术。
如果能够构建出真正理解许多不同科学和工程领域的模型，一个模型就有可能同时拥有接近许多领域 PhD 的专业能力。
没有哪个人类能够同时拥有 20 个不同领域的博士学位。但如果模型具备这样的能力，它就可以判断一个大问题里真正重要的子问题是什么，再调度 Agent 和 Multi-Agent 系统分别解决这些子问题。
模型随后把各个子问题的结果重新组合起来，形成整个大问题的解决方案，并持续重复这样的循环。
我们还希望把这个循环本身跑得越来越快。通过构建合适的工具，系统可以非常快地实现一次实验，或者评价一次实验。
这样，过去需要一天甚至一周才能完成的一轮实验，未来可能只需要一分钟或者一个小时。
不仅如此，系统还可以同时运行成千上万次实验，从这些实验中获得反馈，再利用反馈判断下一批实验应该做什么。
所以，我们希望同时提高两件事：实验运行的速度，以及实验本身的质量。如果这两件事都能持续提升，最终可能产生一些非常惊人的东西～1
与其精读 1 篇论文，不如直接扫 10 篇文章，甚至 100 篇摘要
Q：你是怎么判断一项技术是真正具有基础性价值，还是只是当下比较流行？有没有什么一直没变的研究和工程原则？
Jeff Dean：我经常跟学生说，与其非常仔细地读完一篇论文，有时候快速浏览 10 篇论文反而更好。
这样一来，人的脑子里会多出 10 个关于「什么事情可能开始变得可行」的点，甚至可以快速扫过 100 篇论文摘要。真正重要的能力，是把那些此前还没有被连接起来的重要想法连接起来。
当人面对一个很困难的问题时，如果脑子里已经知道许多事情正在隐约变得可行，大家就能重新理解整个问题。
一个问题一开始可能看起来有 7 个部分，每一个部分都解决不了。但重新看一遍后，研究者可能会发现，其中 5 个方向已经有一些研究开始成形，足以解决其中一部分问题。
剩下的 2 个问题，研究者暂时完全不知道该怎么做，但如果认真投入，仍然有可能把它们解决。
对我来说，这类问题才真正值得长期投入，可能一做就是 5 年。
如果一个问题看起来要 20 年才能解决，而且眼下连其中任何一块该怎么突破都完全没有头绪，那通常还太早。同样，一个 2 年就能完成、具体路径已经非常明显的问题，更多是在做实际工程。
真正值得寻找的，是那些可能需要一种很不一样的方法，同时又已经开始变得可行的问题。
我还有一个经常使用的工程工具，就是快速做数量级估算。比如，如果我要处理这么多数据，需要花多长时间？如果要通过这种网络传输这些数据，到底可不可行？需要 100 年，还是只需要 10 秒？
10 秒和 100 年是完全不同的事情。所以，研究者要能够利用第一性原理和工程经验，在脑子里快速判断不同解决方案大概是什么量级。
我没有什么神奇答案，也做过很多最后没有成功的事情。所以还有一个建议：多去尝试一些可能不会成功的事情，其中总会有一些成功。1
AI 已经能完成顶尖人类黑客能做的事情，甚至可能更进一步
Q：你怎么看 AI 能力在网络安全领域的快速提升？
Jeff Dean：我觉得，这些模型可以被用于许多不同的事情，就像其他许多技术一样。绝大多数应用都会对整个世界产生积极影响。
比如医疗 AI、教育 AI，可以帮助人们解决过去靠自己很难解决的问题，让大家完成更多事情，这些都非常令人兴奋。
但模型同样可以用来寻找安全漏洞，所以这里确实存在一把双刃剑。人们可以用模型发现并修补现实世界里大量存在的安全漏洞，恶意用户也可以利用同样的能力攻击这些漏洞。
现在，这些模型确实已经能够完成一些高水平人类网络攻击者能够完成的事情，甚至可能更进一步。
与此同时，模型也可能找到一些连非常优秀的人类网络防御工程师都未必能够发现的漏洞。
所以，网络安全一直存在攻防双方之间的平衡：一边有人努力保护计算机系统，另一边有人努力攻击这些系统。现在，双方手里的工具都变得强大了很多。
我不是网络安全专家，但我认为这确实是一个值得担忧的问题。对于一些我们不希望模型去做的事情，社会可能也需要法律和监管等非技术手段。
最终，整个社会需要逐渐弄清楚，我们究竟希望模型做哪些事情，又希望阻止它做哪些事情。1
References
- 1量子位原文
mp.weixin.qq.com
This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.