这期 a16z Show 讨论的不是“开源模型够不够开放”,而是一个更现实的问题:当最强 AI 依赖昂贵数据中心、海量数据和巨额训练预算时,开放能不能真的把权力分散出去?Lukasz Kaiser 的判断很克制:今天的集中,可能只是 Transformer 这条技术路线的当前经济学,不一定是 AI 的永久命运。开源可以增加模型、权重和研究的入口,但算力、能源、芯片与数据中心仍然稀缺。真正可能改变格局的,也许是下一次研究突破,以及更多更小、更专业、能够协作的模型。官方单集页确认了本期主题与节目参与者。1
完整音频来自 a16z Show 官方 RSS。2 Sophia Dew 公布的 Open Source AI Summit 采访名单还包括 Matt White、Victor S.、Dmytro Dzhulgakov 和 Jean Kossaifi。3
图片中的身份信息依据公开资料整理:Sophia Dew 的主持人身份与公开账号见此处。4 Lukasz Kaiser 的公开履历与账号见此处。56 Matt White、Victor Su-Ortiz、Dmytro Dzhulgakov 和 Jean Kossaifi 的公开身份资料分别见其公开账号。78910
节目要点
1. 先看集中发生在哪里
节目开场把问题放在 AI 产业链上:AI 越来越强,但构建 AI 所需的资源也越来越集中。当前的主流路线依赖昂贵的数据中心和大量数据,能够承担这套成本的往往是大公司。大公司训练模型,再通过产品和订阅向外提供能力,用户因此获得了使用权,却未必拥有模型、数据和基础设施的控制权。
Lukasz 认为,Transformer 很擅长吸收整个互联网。模型接触的数据越广,通常越容易形成通用能力;如果把训练范围收窄到一个很小的主题,模型的表现可能会明显变差。这种训练方式让“把模型做得更大”成为一条容易重复的商业路线,但也把竞争门槛推向了更大的数据规模、更贵的计算设备和更高的资本投入。
2. “更大”是有效路线,也是集中路线
当研究突破没有出现时,大公司仍然可以用工程和资本继续推进:更多数据、更大模型、更长训练、更大的数据中心。Lukasz 说,研究突破无法像商业计划一样被提前保证,但“做得更大”可以被组织和融资,也可以被一轮轮复制。
这解释了为什么当前 AI 的权力容易集中。集中未必来自某个单一平台的许可条款,也来自技术路线本身对规模的奖励。只要更大的数据和更多的算力还能持续带来能力提升,拥有资源的公司就会获得更强的反馈循环。
3. Transformer 还很年轻
Lukasz 特别强调,Transformer 甚至还不到十年。今天的集中状态因此不能直接被当成 AI 的固定规律。未来的研究可能找到一种训练方式,让模型用更少的数据获得更强的能力,也可能让更多样、更专业的模型在较小规模上竞争。
节目没有声称这种突破已经出现。节目提出的是一个研究方向:当前范式奖励“把一切都放进一个模型”,但下一个范式未必继续奖励同一件事。
4. 人类提供了另一种智能组织方式
主持人追问,小团队是否可能通过算法或研究突破真正与大玩家竞争。Lukasz 的回答从人类开始:人类是非常强的“计算机”,但没有任何一个人是所有领域的专家。一个人在自己的领域可能非常优秀,甚至超过某些庞大的通用模型;人类也不存在一个统一的、什么都知道的“人类大脑”。
在他的推演里,固定数量的数据未必应该交给一个无所不知的模型。另一种方式是训练许多分布式模型,让每个模型在自己的领域足够强,再通过组合或集成得到更强的整体能力。这个方向与现实中的专家分工相似,也可能减少对单一超级模型的依赖。
5. 研究机构的重心变化,给开放运动留下空间
Lukasz 回忆,自己加入 OpenAI 时,那里更像一个研究机构。现在 OpenAI 仍然做研究,但同时也是一家需要做产品和商业运营的大公司。商业化会带来资源和影响力,也会让研究不再是唯一目标。
他因此认为,开放源码运动、大学和学术机构仍然有机会推进那些尚未被商业路线充分覆盖的问题。研究突破不一定从最有钱的公司内部出现,更多人能够在自己的设备上实验,也会增加发现新路径的可能。
6. 一张 RTX 5090 说明了什么
Lukasz 举了一个个人实验的例子:他最近买了一张 RTX 5090,并把它和团队当年做 Transformer 研究时使用的机器作比较。他在节目中表达的重点不是一项严格的硬件基准,而是单个研究者今天已经能买到足以支持研究和实验的设备。
这张卡当然不能用来训练最大的语言模型,但它可以让个人或小团队做实验、验证想法、探索机器学习研究。这个变化不能消除大规模训练的资本门槛,却可能扩大研究入口。
7. 开放改变入口,但不自动改变基础设施
节目简介还把讨论延伸到开放模型、开放权重、算力集中、中国与美国,以及企业拥有自己的智能。把这些层次放在一起看,可以得到一个清晰区分:开放研究与代码让更多团队能够复现和质疑;开放权重让模型能力不必只通过一个平台订阅;企业自有智能则意味着模型、数据和工作流被纳入企业自己的边界。
但开放权重不等于开放算力。模型可以被下载,训练和部署它所需的芯片、能源、数据中心与大规模预算仍然可能集中在少数公司手中。开放运动增加了入口数量,却还没有单独解决入口背后的基础设施问题。
8. 给创业者和 AI builder 的四个追问
- 训练这项智能的资源,是否只有一个入口?
- 模型权重和数据,能否迁移到别的基础设施?
- 产品是在租用外部模型,还是在形成自己的智能资产?
- 当更小、更专门的模型出现时,产品架构能否跟着分叉和组合?
这期节目的结论不是“开源会自动终结集中”,而是:开放可以重新分配能力进入产品和社会的入口;真正改变集中格局,还需要新的算法、更低的计算门槛,以及能够彼此协作的专业模型。
逐句全文翻译
注:以下按音频出现顺序保留全部可辨认内容。少数片段存在断句、说话人或自动插入文本异常,译文用方括号明确标出;这些标记不代表节目嘉宾的原话。
[00:00:00] 节目旁白:AI 正变得越来越强大,但构建 AI 所需的资源也越来越集中。
[00:00:06] 节目旁白:这种情况必须一直持续下去吗?
[00:00:08] 节目旁白:MTS 主持人 Sophia Dew 前往旧金山的 Open Source AI Summit,向研究者提问。
[00:00:14] 节目旁白:她还向 AI 技术栈各个环节的创业者提问:开源能否为 AI 创造一个更加分散的未来?
[00:00:20] 节目旁白:Lukasz Kaiser 是那篇具有里程碑意义的《Attention Is All You Need》论文的联合作者。他认为,今天的集中可能是当前技术的属性,而不是 AI 不可避免的特征。
[00:00:31] 节目旁白:Transformer 依赖规模巨大的数据和算力,但它出现还不到十年。下一次突破可能会改变这套经济学。
[00:00:40] 节目旁白:Sophia 将讨论开放模型、算力获取、企业拥有自己的智能,以及 AI 的权力究竟集中在哪里;她还会追问开放能改变什么,以及哪些问题仍然没有解决。
[00:00:55] Sophia:和我一起参加节目的,是 AI 研究者 Lukasz Kaiser。他是《Attention Is All You Need》的联合作者。这篇论文提出了 Transformer,并彻底改变了现代 AI。现代 AI 目前处在什么位置?权力又集中在哪里?
[00:01:04] Sophia:现代 AI 目前处在什么位置?权力现在集中在哪里?
[00:01:08] Lukasz(说话人根据上下文判断;原稿疑似把身份文字混入句首):去年年底到今年年初之间,出现了一个非常重要的时刻:编程智能体开始真正工作了。
[00:01:15] Lukasz:这类 AI 的特点是,你需要用非常昂贵的数据中心和大量数据来训练它。
[00:01:21] Lukasz:所以,有一些大公司来做这件事,然后向用户收费,对吧?从这个意义上说,权力就集中起来了。对我来说,即使是现在的模型也还不够聪明。所以它们仍然可能变得聪明得多,对吧?也许需要一些研究突破,才能让模型用更少的数据变得更聪明。但因为研究突破——[此处音频底稿存在明显缺失,后续内容无法可靠连接]
[00:01:59] Lukasz:你知道,研究突破有时会出现,有时不会出现。研究突破不像一项商业计划那样可以被保证。但大公司会说,好吧,不依赖研究突破,你也可以做一件事,那就是把规模做大、做大、再做大。现在,这确实会带来集中。你不断做大,就需要数十亿美元。你需要从技术世界的每个角落抓取数据。技术本身有一点集中化,但我们应该记住,这只是当前状态。
[00:02:06] Lukasz:当然,Transformer 很棒,但它甚至还不到十年。
[00:02:09] Lukasz:我相信还会出现其他东西。
[00:02:10] Lukasz:也许我们会让模型能够用更少的数据训练,也许会出现更多样的模型。
[00:02:15] Lukasz:如果你用整个互联网来训练 Transformer,它确实表现得很好,然后会变得相当聪明。
[00:02:19] Lukasz:但如果你试着说,你只学习这个领域——
[00:02:23] Lukasz:那模型就会变得很笨,对吧?
[00:02:24] Lukasz:它的效果没有那么好。但它之所以效果不好,也许是因为我们需要一次研究突破,让这种方式真正奏效。
[00:02:29] Lukasz:但 Transformer 需要什么都懂。
[00:02:30] Lukasz:这确实是个问题,但这是一个研究问题,希望最终能够解决。
[00:02:35] Lukasz:从架构上说,Transformer 需要很多资源。
[00:02:39] Lukasz:但作为一家公司、作为一个模型,你拥有的资源越多,就可能变得越强大。
[00:02:43] Sophia:但你认为,是否存在某种算法突破或研究突破,能让更小的参与者真正参与竞争?
[00:02:52] Lukasz:我的意思是,我们知道这种可能性存在。我们就是证明,对吧?人类并不是每件事都擅长。
[00:02:59] Lukasz:但在具体领域里,人类会有专家。他们非常优秀,有时甚至比那些庞大的模型更好。
[00:03:03] Lukasz:所以这种情况确实存在。我不认为我们已经在技术上找到它了。它甚至可能在某些地方使用注意力层,对吧?但原因可能不只是模型本身,还包括损失函数、数据以及训练方式。
[00:03:12] Lukasz:这里面有很多因素,所以我们并不知道应该准确地从哪里寻找。
[00:03:17] Lukasz:这就是研究的特点。
[00:03:20] Lukasz:但另一方面,我觉得越来越多的人正在寻找答案,至少我是希望如此。我觉得各家实验室的重心已经有一点变化。比如我加入 OpenAI 时,它非常像一个研究机构。现在它仍然有研究属性,但同时也是一家需要做产品之类事情的大公司。
[00:03:38] Lukasz:所以,它对研究的专注度变低了。
[00:03:41] Lukasz:但这给了开源运动一个机会。
[00:03:44] Lukasz:这也给了学术界和大学一个机会。
[00:03:47] Lukasz:我最近也开始自己做一些事情。
[00:03:50] Lukasz:这很有意思。我买了一张 RTX 5090 GPU。
[00:03:57] Lukasz:[原稿此处的设备比较疑似存在识别问题] 它的算力比我们团队当年用来做 Transformer 研究的那套八 GPU 机器更强。
[00:04:01] Lukasz:所以,你现在可以买到一张拥有我们当年设计 Transformer 时所使用的全部算力的 GPU。
[00:04:03] Lukasz:所以,你可以用它做一些事情。
[00:04:10] Lukasz:你当然不能用它训练一个很大的语言模型,但你可以用它研究和实验一些东西。
[00:04:13] Lukasz:我觉得很多人都应该这样做。
[00:04:16] Lukasz:我相信,机器学习研究中仍然有很多东西——[原稿句子在此处不完整,后续无法可靠补全]
[00:04:29] Sophia:我想问你的最后一个问题是:是什么让你对 AI 的未来感到乐观,相信 AI 会朝着真正开放、并且能广泛赋能每个人的方向发展?
[00:04:34] Lukasz:如果你看看这个世界,人类就是世界上最令人惊叹的计算机,对吧?
[00:04:40] Lukasz:我们的大脑仍然无法被这些模型超越。我们也不是通才,而且并不存在一个——
[00:04:42] Lukasz:并不存在一个人类的超级大脑。我认为,从根本上说,给定固定数量的数据,最好的学习方式可能是拥有许多分布式模型。
[00:04:52] Lukasz:[原稿此处句子不完整] 这些模型各自很强,但组合起来会更强。而且,如果你看看一些基础研究,确实有理由相信这一点。
[00:04:59] Lukasz:我刚才还在谈集成模型之类的东西。
[00:05:10] Lukasz:所以,是的,当你把整个互联网都喂给 Transformer 时,它们很棒。但我们知道,还有一种算法甚至更好。
[00:05:14] Lukasz:这种算法可以从小得多的数据中学习,并且在所学习的事情上表现得非常出色。
[00:05:16] Lukasz:这方面,人类就是证明。我们还没有找到这样的算法,比如——[原稿句子在此处不完整]
[00:05:42] 节目旁白:[自动插入文本] 音频为英语。
[00:05:57] 节目旁白:我觉得,很多人有时会看着 AI 当前的状态,然后变得有些悲观:现在好像只有大公司和大型数据中心,一切都这么庞大。接着,你订阅了某个服务,却没有太多事情可以对它做。
[00:06:02] 节目旁白:对我来说,这只是当前的状态。
[00:06:05] 节目旁白:你知道,这只是今年,或者明年。
[00:06:12] 节目旁白:这是技术发展中的一个阶段,但它也可能是通往更有趣未来的一步:也许每个人都能拥有自己的模型。
[00:06:14] 节目旁白:我们会用小得多的数据来学习。
[00:06:20] 节目旁白:这些模型会像我们一样,成为不同领域的专家。也许一个模型会用这种方式讲笑话,另一个模型会用另一种方式讲笑话。
[00:06:25] 节目旁白:现在,当你问一个大型语言模型要一个笑话时,它总是讲同一个,对吧?
[00:06:25] 节目旁白:对。大概是某个关于原子的笑话,或者——[原稿在此处截断]
[00:06:49] 节目旁白:[重复节目简介] Lukasz Kaiser 是《Attention Is All You Need》的联合作者;节目还讨论了开源 AI、开放权重模型、算力集中、中国、美国和 AI 基础设施。
[00:06:52] 节目旁白:[原稿缺少上下文] 这说明伟大的事情是可以完成的。这很好。
[00:06:59] 节目旁白:但前面还有一件事,我们只是需要一些研究突破。
[00:07:05] 片尾旁白:感谢收听这一期 a16z 播客。
[00:07:08] 片尾旁白:如果你喜欢这一期,请点赞、评论。
[00:07:11] 片尾旁白:请订阅,并给我们留下评分或评价。
[00:07:13] 片尾旁白:也请把这一期分享给你的朋友和家人。
[00:07:16] 片尾旁白:想收听更多节目,请前往 YouTube、Apple Podcasts。
[00:07:17] 片尾旁白:也可以前往 Spotify。在 X 上关注我们的账号 A16z。
[00:07:23] 片尾旁白:还可以在 a16z.substack.com 订阅我们的 Substack。
[00:07:24] 片尾旁白:再次感谢收听。
[00:07:26] 片尾旁白:我们下一期再见。
[00:07:33] 投资免责声明:这些信息仅用于教育目的,不构成购买、持有或出售任何投资产品或金融产品的建议。
[00:07:41] 节目免责声明:本播客由第三方制作,可能包含付费推广广告、其他公司信息,以及与 a16z 没有隶属关系的个人。
[00:07:49] 节目免责声明:a16z Capital Management LLC、a16z 及其任何关联方均未认可这些广告、公司或个人。
[00:07:55] 节目免责声明:这些信息来自出版日期被认为可靠的来源,但 a16z 不保证信息的准确性。
References
- 1a16z Show 官方单集页
a16z.simplecast.com
- 2a16z Show 官方 RSS
feeds.simplecast.com
- 3Sophia Dew 公开帖子与采访名单
linkedin.com
- 4Sophia Dew 公开账号
x.com
- 5Lukasz Kaiser 公开履历
ml-summit.org
- 6Lukasz Kaiser 公开账号
x.com
- 7Matt White 公开账号
x.com
- 8Victor Su-Ortiz 公开账号
x.com
- 9
- 10Jean Kossaifi 公开账号
x.com


Comments