
AI 独角兽很少发表论文,外部验证因此变难
一项覆盖 317 家 AI 独角兽的预印本发现,52.4% 从未以主导作者身份发表合资格论文或预印本;真正的风险不是公司必须像大学一样发论文,而是能力、安全与影响主张对应的公开证据仍不稳定。
AI 独角兽的研究记录为什么这么薄
一项 7 月 16 日发布在 bioRxiv 的预印本,统计了 1998—2025 年间 317 家 AI 独角兽的科学发表情况。166 家,也就是 52.4%,没有一篇符合研究口径的论文或预印本;只有 24 家产出过至少一篇获得 200 次以上引用的作品。到了 2025 年,这些公司的正式科学产出只占整体 AI 文献的约 0.1%。1
这里的「符合口径」很重要。研究者主要把公司研究人员担任第一作者或末位作者的作品视为公司有主导贡献的产出;字母顺序署名和少数无法判断主导者的情况另行处理。只出现在中间作者位置的合作论文被保留在更宽的分析里,却不计入公司的主导发表。换句话说,这项研究测量的是公司有没有把研究推到台前,不是公司有没有参与过任何研究。
分布也不像一个缓慢增长的行业,而像一座很尖的塔。前 10% 的公司拿走了样本中 96.8% 的引用,前 5% 拿走 92.0%;OpenAI 一家公司占 39.4%。Science 对这项研究的报道还提到,OpenAI 约有 4500 名员工,但只有 8 名研究人员发表过 5 篇或更多符合标准的论文。2
数字先把一个直觉推翻了:估值高、算力多、产品影响大,不会自动变成公开的科学记录。研究还发现,公司估值与发表数量或高被引产出没有关联,融资额只呈现较弱的关系。AI 产业的技术实力和它留下的公共证据,已经是两套不重合的东西。
少发论文,不等于没有研发
把这个结果翻译成「AI 公司不做科学」是过头了。研究使用 Clarivate 数据库,最后得到 2077 篇合资格产出,其中 1389 篇是同行评审论文,688 篇是预印本;但它没有统计博客、技术报告、代码、数据集和模型权重。Science 报道把这种转向称为「blogification」,并引述 Hugging Face 的 Avijit Ghosh 说,模型权重、代码和数据集是否开放,往往比论文发表在哪里更能决定别人能不能复现。12
这也是公司一方最有力的反驳:公司不是大学,公开一篇论文可能泄露产品路线,速度也未必适合同行评审;一份可运行的模型、代码仓库或技术报告,有时比一篇只给出结果的论文更有用。Science 报道中,Mohamed Abdalla 甚至直说:「公司的工作不是推进科学,对吧?公司的工作是赚钱。」2
这些反驳都成立,却没有消除问题。论文数量少本身不是罪证,真正麻烦的是:当一家公司同时提出「模型更强」「系统更安全」「agent 能独立完成更长任务」这些会影响公众和其他公司的主张时,外界需要一条能独立检查的证据链。论文只是其中一种载体,不能替代模型卡、评测协议、失败案例、事故记录、代码或可审计的运行轨迹;但如果这些载体也不完整,外界就只能看到公司说自己做到了什么,看不到别人如何复核。
外部验证缺的不是一个 PDF
可以把 AI 公司的公开证据拆成三层。
第一层是能力主张:测试任务是什么,比较基线是谁,模型拿到了什么工具和上下文,失败发生在哪里。一个漂亮的 benchmark 数字,如果没有任务定义和失败样本,读者无法判断它测到的是模型能力,还是测试设置。
第二层是安全主张:风险模型是什么,红队如何做,安全阈值由谁设定,出现越界时谁有权暂停部署。公司发布一份安全框架,并不自动说明框架有量化门槛,也不说明决策权真的独立于商业发布节奏。
第三层是影响主张:系统被部署到哪里,谁在使用,出了什么事故,版本如何变化,外部研究者能否拿到足够数据做长期评估。AI 系统的影响往往在上线之后才显现,单次演示和单篇论文都覆盖不了这部分。
这三层没有一层必须全部交给传统期刊。问题在于,现有披露常常只给结论,不给让结论被复核的条件。研究团队也提醒,这份预印本只是书目计量分析,尚未经过同行评审;它没有证明公司没有研发,也没有证明「发表论文」就能解决安全问题。它证明的是更窄、但很实在的一点:AI 产业最有影响力的一批私营公司,参与正式科学交流的比例很低,而且公开影响高度集中在少数公司。1
这会改变人们理解 AI 的方式。过去,研究共同体可以通过论文、同行评议、代码和后续复现,逐步把一个新结果变成公共知识。现在,前沿能力越来越多地先以产品和公司声明出现,外界却未必有同等强度的材料去校准它。结果不是「所有公司都不可信」,而是很多主张的可信度只能停留在信任公司,而不是检查证据。
公开方式要跟着 AI 的影响范围变
因此,要求公司「多发论文」还不够,也可能要求错了。更具体的要求是,让每种主张都对应到合适的公开材料:能力评测要有任务和失败条件,安全承诺要有阈值、审查权限和更新记录,重大部署要有事故与长期影响的报告,agent 则要留下权限、规格、工具调用和执行过程的可追溯记录。涉及危险能力的细节当然不能无条件公开,但「不能公开全部」不应变成「外界无法检查任何关键部分」。
这也是为什么「论文少」值得讨论,却不应成为唯一指标。科学论文解决的是知识如何进入共同体,模型权重解决的是别人能否运行,代码和数据解决的是别人能否复现,事故记录解决的是部署之后谁能学到教训。它们不是同一件事,缺一项都不能由另一项完全补上。
这场争论里最难接受的部分,是公司和研究共同体各自都只说对了一半。公司确实不必复制大学的发表制度,论文也确实经常不能代表可复现性;但 AI 公司已经在开发会进入科学、教育、医疗和公共决策的系统,不能只用商业保密的逻辑来解释公共证据为什么稀薄。能力越快进入社会,外部验证越不能只靠公司自己的叙述。
速览
PAI:把 AI 风险写进投资者能看到的报告
Partnership on AI 的 Sam Wallace 和 Dunstan Allison-Hope 于 7 月 28 日发布一份仍在征求意见的披露建议,主张公司利用已有的 SASB、ISSB、ESRS、GRI 等报告框架,公开 AI 对业务和社会造成的重大影响、风险与机会。PAI 说,起草过程中咨询了投资者、企业、民间组织和其他专家;它也把 system card、监管报告和事故报告列为面向不同读者的透明度工具。3
这不是新法规,也不是一套已经验证有效的审计标准。它提供的是一个现实入口:如果 AI 风险只留在模型发布页,投资者、保险机构和监管者就很难把它和公司的治理、成本与责任放在同一张表上。
Berkeley RDI:agent 越自主,验收对象越不能只看代码
7 月 26 日,来自 UC Berkeley、CISPA、MIT、Cursor、微软等机构的作者在 Berkeley RDI 发布软件自主性框架,把软件开发分为 Code Autonomy、Pipeline Autonomy 和 Demand Autonomy 三层:人从审查代码,逐步退到只提出需求,最后连「做什么」也由系统决定。文章承认,当前 agent 已能承担有意义的工作,但在连续演化中会明显损失正确性和架构一致性。4
它给出一句很实用的警告:当同一个 agent 同时写实现和测试时,测试通过可能只说明两者彼此一致,不说明软件正确。这个判断是立场论文提出的框架,不是对 Level II 或 Level III 已经可部署的独立证明;但它把今天的验证问题往前推了一步,要求人们检查生成软件的 agent、规格、权限、记忆和执行轨迹。
AI 公司下一次说「更强」「更安全」或「更自主」时,读者真正该追问的不是有没有一句漂亮的结论,而是哪一份公开材料允许外部复核这句话。
Related content
- Sign in to comment.
