给大模型出题、判卷、搭考场：数据生意到底在卖什么｜硅谷101 E253

这一期的《硅谷 101》是一场 58 分钟的三方对谈：主播 Yiwen 把两位嘉宾请到一起，从产业和研究两个方向拆同一件事——当大模型开始动手干活，给模型做数据的公司到底在卖什么。

两位嘉宾的身份决定了这场对谈的分量。何允中在 Scale AI 负责后训练与评测研究（Post-Training 与 Eval Research），他所在的 Scale AI 是这一行最大的公司之一，2025 年 6 月 Meta 入股时给它的估值超过 290 亿美元（Reuters，2025-06-13）。孙一铀（Yiyou Sun）是加州大学伯克利分校博士后，也是 Agents' Last Exam（ALE） 的核心贡献者之一——一个由伯克利 RDI 与 300 多位行业专家共同构建的智能体评测项目（Berkeley RDI 官方介绍、项目主页）。一个在卖数据，一个在造评测，两个人的立场天然有张力，这一点在本期里被反复摆到台面上。

这期节目要回答的问题大致是三个：数据公司究竟交付什么、榜单分数上涨能不能说明模型变强、以及一门透明度极低的生意接下来靠什么活着。原始节目在小宇宙发布，全长 3484 秒，官方章节时间线见节目页。

何允中给出的分类很干脆：这一行里基因完全不同的几拨人在做同一件被外界统称为「数据」的事。

同一场对谈里也出现了另一类玩家：手里握着模型、暂时没赚到钱、于是顺手做起了数据生意的大公司。何允中的判断是「整个饼是越来越大」，但大数商和小团队吃的不是同一块。

节目开场给出的数字可以说明这个行业今年的温度：AfterQuery 在 4 月宣布 A 轮时估值 3 亿美元，到 9 月新一轮融资已把估值推到 32 亿美元，不到半年涨了十倍，成为 Y Combinator 历史上从启动到成为独角兽最快的公司（TechCrunch，2026-09-01；该轮由 Forbes 率先报道）。几位更早成名的玩家估值则已在百亿美元级：Meta 入股 Scale AI 时的估值超过 290 亿美元，Mercor 去年 10 月那一轮是 100 亿美元。

这是全场信息密度最高的一段。何允中把数据行业这几年的迁移讲成了一条清晰的链子。

预训练仍然重要，但兴趣转移了。 他的原话是，身边的人「觉得 Pretraining 感觉干的有点无聊了」——继续堆规模、调数据配比。转折点是 o 系列这类推理模型出来、RL 跑通之后，所有人的注意力都挪到了强化学习上。而 RL 有一个前提条件：你需要一个可验证的信号（verifiable signal）。

可验证信号最早只在代码和数学里成立。 一道选择题答对答错一眼就知道，一个数字算得出来就是对。但当大家想把 RL 用到数学之外——医疗、金融，甚至最基础的指令遵循——问题就来了：这些领域有客观标准，但标准很「不结构化」。何允中打了一个很好懂的比方：答历史考题是有标准答案的，但每个人的写法都不一样，没法用 ABCD 那种方式做模式匹配。

于是有了 Rubric。 相当于让一个助教拿着教授提前写好的打分规则来给你判卷。因为规则是专家事先写好的，这个助教不需要特别聪明——这正是大模型数据里一个核心概念 Weak-to-Strong Supervision（用弱模型监督强模型） 成立的条件。这条路线火了很久，Scale、Surge 这类公司的崛起都跟这一波专家 Rubric 有关。

再往前一步，模型要动手了。 代码模型、以及像 ALE 这样需要多步骤执行的任务，光验证一段聊天输出不够了。这时候的交付物不再是「一组打分规则」，而是一整套环境：要做什么、在什么环境里做、需要哪些工具和沙盒、以及一套跟任务绑定的验证方式。验证方式本身也分裂成了好几个流派——有纯程序化检查（Programmatic Check），有 Rubric，也有让人来选偏好的 Preference。何允中的观察是，这一块「暂时还没有形成特别大的共识」，有点像当年 Rubric 刚起来时，每一家要的东西都不一样。

两位嘉宾在这里出现了一次很值得听的分歧。何允中说「Rubric 差不多已经做到头了」（他后来补充，这更多指的是行业趋势：静态的单轮或多轮聊天、输出一段文本、再用 Rubric 去查它，这种纯知识类的形态）；孙一铀明确「有一点反过来」——他认为用专家主观判断的那一类 Rubric 还远远不够。

孙一铀给出的框架比术语更实用：环境或任务数据只是执行的基准，Rubric 才是最终用来打分、用来奖励模型的那一环，两者相辅相成，不能拆开谈。他更愿意从「人和 Agent 各自担任什么角色」来分类：从最早 Vibe Coding 时代人写代码、Agent 只补一小块，到后来人给一个模糊指引、Agent 完成一个大项目，人机分工一直在移动。任务说得越清楚，输出越唯一，Rubric 就可以是确定性的；而当「决策」这一部分非常模糊、很难量化时，Rubric 反而写得越模糊越好，甚至要靠一个专门训练出来的验证模型去做主观判断。

何允中把这套逻辑概括成一句很形象的话：大家希望「左脚踩右脚」——模型变强，验证器也跟着变强；验证器变强，就能写更模糊、更复杂的 Rubric。但有一条底线：Rubric 加验证这两块加起来的知识与能力，必须比要训练的模型更多，否则就达不到训练的目的。

这是整期最锋利的一段，因为它直接触到了利益冲突。

评测的原始含义，按何允中的说法，是「模型距离我们想要的理想状态中间的那个 gap」——它本来是一个科学研究的基准，回答的是「我想要模型在哪，它现在没到哪」。它之所以能变成生意，是因为提升模型能力的数据，和榜单的评测方式息息相关：谁对一个领域理解得深、造出的 benchmark 有说服力，谁手上卖的数据就更容易被信任。孙一铀在这个地方直接敲了警钟：他私下听说有数据公司踩了红线，把自己做评测的数据拿去卖——「你不仅毁了你的 Benchmark，也毁了其他人的模型」。他给出一条清晰的分工：Benchmark 面向未来，数据面向现在；Benchmark 是提出「模型还没解决什么问题」，数据是去满足这个需求。

关于「刷榜」，两人的态度都不是一刀切。何允中认为提升模型能力最大的 ROI 应该放在核心能力上，如果某个改动只涨一个榜单、别的都不涨，那未必是好事；但贴近真实场景、反映用户体验的 benchmark 也是好 benchmark，哪怕它不那么通用。他举了一个当下的例子：个人助理（Personal Assistant）这类场景的评测，测的可能不只是模型本身，还包括你外面那层 Harness，甚至它的目的根本不是卖训练数据，而是告诉你「我的 Harness 错在哪」。

孙一铀补了一个更 technical 的视角：现在大模型公司很看重 Benchmark 的分布。像 Artificial Analysis 这样的体系做的事情很简单——把各家 benchmark 按不同权重合成一个分数——问题也正在于这个权重是不是大家真正需要的权重，迭代方式同样很主观。所以头部厂商倾向于自建评测体系，让分布更接近自己心目中的样子，第三方榜单更多是「对外发布时更有说服力」。垂直领域则相反：如果一家律所每天做的事都被某个 benchmark 覆盖，那它看这一个榜单就够了。

节目里还讲了一个关于「随机性」的真实故事。Scale 做了 SWE Atlas——一套覆盖代码库问答、写测试、代码重构的软件工程智能体评测套件（官方论文页）。按计划它分三个阶段发布，结果最简单的那一块（代码库问答）先被 Artificial Analysis 收进了榜单，剩下两块还没来得及合进去。需求突然就涌向了最简单的那一块——而他们花了更多心血做的复杂评测反而没人问。何允中对此的评价是：「你没看到的东西，其实背后可能也有人在用，这个生态其实水还比较深。」

「数据买回来」这一步，是外人最容易低估的地方。节目里给出了三个很具体的卡点。

第一是采购。 何允中讲了一个让人记住价格的例子：Steam 上一个名不见经传的、体量几千人的手游，拿下它的源码做游戏开发类任务，一条数据对方要价能到两三百万人民币。他说没有哪家数据公司或者做 benchmark 的机构有这个财力。

第二是版权与商业软件。 要造一个芯片设计的训练环境，可能牵扯到一批商业软件，得先把这些软件的版权拿到并包进环境里；要做 DevOps、要让 Agent 操作 AWS，就得有人把整套 AWS 模拟器搭出来。这些都是「采购+定制」的活，也正因如此，抓住一两个垂类把它做扎实，反而成了小团队的机会。

第三是验证，尤其是专家造假。 孙一铀讲得最直接：ALE 用「署名」作为激励机制——提交并被采纳就能进作者列表——于是就有人为了署名而提交，甚至用 Agent 合成一批数据。有些材料一眼就能看出是编的，但更麻烦的是那些看不出来的。他的原话是：「公开数据其实还好检测，我觉得最难的是编造数据。」比如一个化学模拟任务，专家根本没跑过，却编出一套似是而非的结果——「你没有个几个月根本查不出来这个问题，因为他看上去很真」。等所有 Agent 的能力都远超这道题本身，才会发现大家的答案一致、却跟正确答案不一致，而这个周期会非常长；再找第二个专家去复核，成本又极高，而且复核者本身也可能偷懒。

何允中补了另一半：这也是奖励机制设计的问题。他提出的方向叫 Proof of Work——要求专家把做这件事的整段工作流程录下来，必须达到多少时长或多少动作，不同形式的问题配不同形式的奖励与验证机制。

对谈后半段把这个流程拆开讲了。何允中给出的框架是 Training Recipe（训练配方）：比较简单的数据直接做 SFT（把对的答案给模型就行）；Rubric 那一类则是在做强化学习，因为始终有一个模型在给它打分。而现在这批 RL 环境——尤其是今年在卷的「长程任务」（跑一次要几天、还要占 GPU 的任务）——训练方式本身就开始变得模糊，何允中直说这里面「还没有太多共识」。

一个反直觉的点：训练数据不是越难越好，而是要跟模型匹配。 做 benchmark 时希望它不要饱和、越难越好；但拿来训练时，模型厂商甚至会把还没发布的模型交给数据公司，让对方按难度筛题——太难，模型什么都做不出来，就学不到东西。除难度之外，还有轨迹（trajectory）采集：把模型解题的轨迹筛出来，甚至人工造出可用轨迹，让模型跳过强化学习直接做 SFT。

防作弊则是另一半工程。何允中最担心的是 Reward Hacking：如果任务没完成、但做点手脚就能把分数打高，模型「肯定会变成一个耍滑头模型」。他们的做法包括用更强的模型做 red team 去环境里找捷径，以及在奖励里加入资源维度——比如消耗了多少 Token、用了多少步。

节目专门讨论了 SWE-bench Verified。这套评测让模型修复真实开源项目里的问题，再看测试是否通过；2026 年 2 月，OpenAI 宣布停止报告它的分数（OpenAI 官方说明，2026-02-23），理由有两类：一是测试设计本身有缺陷，功能上正确的解法也会被判错；二是数据污染，模型在特定提示下能复现部分题目原本的人类修复代码，说明训练时很可能见过。

OpenAI 公布的数字是：过去六个月该榜单只从 74.9% 涨到 80.9%；在被审计的 138 道题里，至少 59.4% 存在测试设计或题目描述上的实质问题；所有被测试的前沿模型都能复现作为标准答案的 gold patch。孙一铀补充的一个角度是：这两类问题里，有一类甚至不是「污染」，而是题目本身就没做好——脚本写得太苛刻、任务本身不可解。当剩下那 20% 的失败长期集中在这类问题上，这个 benchmark 本身也就失去了对比的意义。

节目最后落在两个问题上：数据公司会不会从「卷采购」变成「卷并购」；以及什么样的信号能说明一个赛道能持续增长。

何允中描述了一种正在成形的玩法：过去私募基金买公司是为了用 AI 提效、再把公司卖掉；现在多了一层——这家公司手里的数据本身还能卖钱。他同时给出了一个判断：一个数商真正要做的事情其实是研发——提前判断哪些行业重要、把行业的东西买回来、自己先投入 R&D 把问题研究清楚、做成 benchmark 或数据、证明有效性，再卖给实验室。他甚至有一个「暴论」：实验室未必有最好的基因来解决数据问题，因为实验室有 deadline、没有自由度花半年去啃一个行业，而且把 FDE 派进企业做交付、同时又有一拨人在挖这家企业的数据，本身就有利益冲突，企业不一定放心把数据交出去。

孙一铀的收尾补充了一条商业上的结构性差别：数据公司的估值空间一般不如传统公司，因为它很难像 Facebook、Google 那样「躺在积累的用户量上吃老本」——领导者必须持续推进下一步在哪里，因为模型迭代的速度太快。他还给了一个很具体的价格锚：按 Mercor 官网给专家的时薪，制造业工程师大约是一两百美元一小时，这个价格本身就限定了它招不到特别高级的工程师；而学术项目反而容易——因为专家「不求钱，图的是大家一起把这个事情做好，图的是个名」。

以下是 E253 的完整转录稿。原始音频为节目官方发布版本（小宇宙单集页，全长 3484 秒），转录按讲话人为单位分段，每段开头标注讲话人；时间轴每 10 分钟标注一次。节目开头含一段主播口播与赞助商读稿（科沃斯），其后是正片对谈，两部分都完整保留。

讲话人归属说明：本期为三人对谈（主播 Yiwen，嘉宾何允中、孙一铀）。两位嘉宾语速快、接话密，机器区分讲话人在极快的问答交界处仍可能把一小段嘉宾发言并入主播段（或反之）。长段落的归属已逐条核对，个别一两句的现场短应答可能标错，特此说明。

主播 Yiwen：Hello 大家好，欢迎回到硅谷 101，我是 Yiwen。很多投资人在和我们聊天的时候都提到了他们最近很关注的一个赛道，那就是数据。随着模型能力的不断提升，模型公司对训练数据的需求也变得越来越复杂，越来越具体。硅谷因此出现了一批增长很快的数据公司，专门为这些模型公司提供服务。比如由三名 20 多岁的年轻人创办的 AfterQuery。今年 4 月宣布 A 轮融资的时候估值还是 3 亿美元，到了 9 月新一轮融资就已经把它的估值推到了 32 亿美元，不到半年涨到了 10 倍之多，创下了 YC 旗下公司从启动到成为独角兽的最快记录。那我们更熟悉的几家大型数据公司呢，估值也已经达到了百亿美元的级别。去年 Meta 入股 Scale AI 的时候给出的估值超过 290 亿美元。Mercor 去年 10 月这轮融资的估值也达到了 100 亿美元。但这些高估值背后的数据生意到底是怎么做的，外界其实很难看清。所以我也很好奇这些公司究竟在卖什么？模型公司又为什么愿意给那么多钱呢？过去提到数据标注，大家很容易想到给图片打标签，给模型的回答打分这些人工标注。现在数据公司还需要请来各类行业专家，把他们的知识和工作经验转化成 AI 可以学习的任务。其中一类重要的数据是请专家写清楚，一个回答一份工作成果，到底满足哪些条件才算好。这套评分标准也就是我们经常听到的 Rubric。再往前一步，数据公司还要搭出让 AI 实际动手的环境，配上任务、工具和反馈机制，让它在里面操作软件、反复尝试，并且根据结果学习。这就是强化学习环境，也就是我们经常听到的 RL Environment。与此同时，新的 AI 评测也层出不穷。从金融、法律等等垂直领域，到让 Agent 完成一整套工作流程，模型要参加的考试是越来越多了。但榜单上的分数提高了，究竟代表哪些能力变强了呢？针对榜单做优化，什么时候会让模型更好用？什么时候又会变成单纯的刷分行为？这期播客我们就想把这些问题聊清楚。今天聊大模型数据范式迁移，人工标注转向可验证的 RL 环境。但也有观点，对机器人来说，最难构建可验证环境的场景，未必在实验室，反而在实际家庭里。沙盒里写代码，跑一遍就知道对错。但家务是动态环境开放任务。机器人不仅要完成动作，还要稳定做好，难度极高。家庭场景验证是行业的最硬命题。如何让家务不用人操心．沃斯钻研了 28 年，从扫地、擦窗到割草、泳池清洁。他们没急着把机器人做得像人，而是不断打磨能帮人的机器人。在真实场景稳定解决问题，为此重设清洁决策、搭建验证体系，很多功夫花在看不见的地方。家务难在哪，科沃斯的能力就长在哪。本期节目由科沃斯赞助播出，向人是很迷人的方向，但帮人才是科技最终的目的。接下来就请收听我们关于 AI 数据的正片。我请来了两位非常适合聊数据这个话题的嘉宾，分别是在 Scale AI 负责后训练和评测研究的何允中．．加州大学伯克利分校博士后．Agents' Last Exam 项目的研究者孙一铀。以下就是我们的对话。Hello 允中，Hello 一铀，欢迎来到硅谷 101，大家介绍一下自己吧。

何允中：OK，我叫允中，现在在 Scale 负责 Post Training 和 Eval Research。大部分人关注我们可能是看我们发布的这个 Benchmark，还有一些 RL Data Recipe 的文章，但是实际上我们其实也是给整个大模型行业提供数据，还有一些方法论的知识吧，有点像整个行业的一个外包数据也 research 团队。观点都是个人观点，不代表 Scale AI 也跟客户没有关系。

主播 Yiwen：谢谢允中，

孙一铀：我是一铀，我现在在 UC Berkeley 读 Postdoc，现在关注的也是 Agent Evaluation 这个方向。我们最近推出的工作就是一个 Agents' Last Exam，目标是构建于迄今为止规模最大覆盖面最广的智能体评测基准，是由 Berkeley RDI 和 300 多位行业专家共同领导和牵头的。是希望能够衡量智能体在有可验证结果的长期、具备精致价值任务中的一些表现。目前的话，公开的任务大概有 150 多个，覆盖了 50 多个细分的行业。然后我们目标在下一次发布中直接放出 1000 多个任务，在每个领域上做得更深一些。我们可能几个月内就会发布 V2 的版本。

主播 Yiwen：语音中要不要给我们讲一下现在市面上的，因为也有零零总总的数据公司嘛，你觉得大致的一个分类是什么样的？这里面有几个大的玩家，还有一些新秀，有一些几个人的 shop。

何允中：在我看来最有意思的是大家基因可能不太一样，比如说有做招聘出身的，像是什么 Mercor,Handshake。Scale 是这种传统数商，从众包网络出身的，然后也有一些新的是做合成的。还有在最新的一些可能是某一些领域公司转行做数据了。这里面值得说一下是巨生。巨生现在的行业状况是有很多做模型的公司暂时没赚到钱，但是他花了很大量的精力投资做素材，然后就顺便做起了素材生意。很多各个行各业的人也发现了自己的数据的价值，然后转行来做这么一个数据公司。我觉得大致有这么几个分类吧。几个大的玩家，比如说像是 Mercor、Surge、Scale 基本上试图什么东西都能 cover。除此之外，其实一些新秀玩家把一些领域做得比较好的，像是什么 Bespoke 或者 Snoke，他们可能是比较偏 Research 跟 Engineering 一点的。我猜测他们主要生产代码或者是托扣这一类的环境，就是抓住了今年的这么一个风口。另外我还看到一些小的公司他们可能是解决了一些垂直领域的问题，甚至他们可能不像我们是做标注数据的，就是一些 broker，比如说可能是好莱坞的一个人，他有特别多的版权数据，他知道怎么把这东西卖出去，就是有零零总总的不同领域的东西，然后现在可能在最新兴起的就是做这些垂直领域。把一个领域做得特别好，可能是有一些领域专家组成的，大概是这么几个分类吧，我会觉得说机会还很多，大的数商有大的数商的优势，就是想进入一个领域，有比较多的资源，我觉得整个饼是越来越大。

主播 Yiwen：你讲到说像 Mercor、Surge 这样的公司是所谓的招聘公司，这个能不能再给我们具体讲一下招聘是一个什么样的商业模式？

何允中：Surge 应该不是，但是 Mercor 他是做招聘几家的，他有自己的一个自动 AI 面试的这么一些产品吧，他可能自己主打的一个重点就是说我能够在比较短的时间内找到足够量的专家，有这么一个专家网络。然后 Surge 我觉得更多的是把这个东西 In-house，这里反正有一些取舍吧，基本上每个数商可能都需要面临这么一些取舍，就是说如果我是自己完全全职培养的人，那他肯定能力强一点，但是这个灵活度就不够，才能可能会差一点。如果是更多的依靠众包的网络，那么可能我的灵活性大一点，但是就是每个人的质量就比较难保障。

主播 Yiwen：这里就涉及到一些质检的问题了。

何允中：比如说像 Scale 这些公司的一些优势，就是说我们有一些质检的经验，不光是在数据上，也在人上。

主播 Yiwen：允中要不要讲一下你是什么时候加入 Scale 的，在当时到现在整个市场你觉得对于数据的需求有发生什么变化吗？

何允中：对，故事还挺好玩的，当时我是在 Meta 入股之前签的 offer，我一到人就走了，所以我经历了整个大模型行业开始不管从人才的战争还有薪酬体系都开始 go crazy 的这么一个故事。当时我来之前，我的老板刘斌跟我说，有这么一个技术，各个家 Lab 都在做，但每个人都做的不太一样，说你赶紧进来，我就能跟你讲，然后我们在这里好好做些研究。然后我来了，那个时候是 Rubric Data，那个时候还比较新，可能一年多之前吧。现在 Rubric 感觉已经过时了，大家都在讲 RL Environment，各种各样的东西，就是这一年确实经历了非常多的变化。

主播 Yiwen：其实我们关注这个话题也是因为大概从 2024 年到现在感觉整个对于数据的一个需求发生了一个比较大的变化。因为 24 年之前我们在聊数据的时候大家想到的很多还是人工标注，就是一些比较基础的数据吧。我们会需要非常多的数据来做 pre-training 来训练模型。但是从 2024 年，其实 Mercor 之前有提到过，是因为 Deep Search 的兴起，导致整个行业转移到了一个所谓的 Agentic Data。我们会需要像你刚刚说的 Rubric，然后包括 RL 环境，现在就是更多真实工作流数据，能不能帮我们先梳理一下这几个概念吧？我们先讲一下这个行业从 Crowdsourcing Data，就是这些人工标注数据到 Agentic 数据，这个中间是经历了一个什么样的变化？

何允中：对，首先说明一下，Pretraining 还是很重要的，不过就确实从我身边的人的兴趣来说，大家经历了一个 shift，大家觉得 Pretraining 感觉干的有点无聊了，就是在继续 Scale，调数据配比，那个时候是 O 系列模型出来了，大家都在做 Reasoning，发现这 RL 跑通了嘛，一下子大家兴趣都在 RL 上，然后 RL 比较有意思的一个问题就是说，我需要一个可验证的信号。可验证的信号在代码或者数学，尤其是最早的推理模型是从数学上做出来，就很简单。我这个选择题答错答对了就知道了，或者就是一个数字算出来。但是之后大家就在想说，那我数学可以做二维码了，我在其他领域呢，比如说像是这些什么医疗、金融。或者就是更基础的指令应遵循，这里我能不能做 RL。这里它存在的一个问题就是说，它是有一些客观标打的，不像在之前的一个阶段大家做 RHF 就是 reward Model，可能没什么标打，只是把大家的喜好学出来。然后这里面其实就有个标打，只是它这个标打它比较不结构化，就好像我去答这个历史考题，历史考题是有标打的。但是呢，每个人的写法可能都不太一样，结果很难做这个 pattern match，就是说 ABCD 检查你有没有答对。这个时候就是一个 Rubric 的方式，相当于我让一个 TA 拿着教授写的打分规则来给你打分。然后因为这个打分规则是提前标好的，是教授写的，所以这个 TA 也不需要特别聪明。这是整个大模型数据中的一个核心概念，就是叫 Weak to Strong Provision，就是我能不能用弱模型来监督强模型。那他这里成立的条件就是说我有个专家把他脑海里的知识给写下来了，这样弱的模型拿着他改卷的就行了，这就是 Rubric Data。这个东西应该是火了很长一段时间，但是现在还很重要。但是这里面很快就把各个专家领域的 Rubric，就比较容易获得的收集的比较干净了。看到比如说项目 Core 或者 Surge 的崛起，其实跟这一块的专家 Rubric 有关系。但是再往前走，大家需要动手了。比如说现在做这种代码模型，或者像一铀他们做的 ALE，虽然它不是做代码，但它需要动手，要解各种各样的问题。这个时候呢，他就不再是说我只是验证你一个聊天的输出了，那我需要是在一个 agent 的这个 setting 之下，那我可能需要给他一些工具，还有一些更复杂的验证方式，但还包含了 rubric。但是可能我需要一些检查这个环境里面的变量是不是执行了，这个数据库是不是写入了或者被删除了。甚至如果像是我生成了一些文档，里面可能有些图，这个东西我还是需要 Rubric，但是我需要一个 Agent 来检查。就变得更加多样了。现在可能大家追求的比较大的一个方向就是环境。它不光是我标注好的一些打分规则了，而是说我可能包含了一整套我要做什么，在什么样的环境里面做，包括了它需要的一些工具，需要执行的一些沙盒，以及还有一套跟 Task 比较相关的验证方式。验证方式非常的多样，比如说有这种 Programmatic Check，有这种 Rubric。还有 Preference 我让人选我比较喜欢哪一种。这里面我暂时还没有形成特别大的共识。我又看到有点像当年 Rubric 时代，每一家要的东西都不一样。就比如说像什么 Terminal Bench，他们就不要 Rubric，他们就是纯 Programmatic。这里面又有不同的流派，还挺有意思的。

主播 Yiwen：这个很有意思，你要不要从 ALE 的具体的例子来跟我们讲一下需要哪些要素？

孙一铀：其实我跟允中的看法其实有一点反过来了。就是允中认为现在 Rubric 差不多已经做到头了。但我的看法是，我觉得 Rubric 这一块，以此专家这种主观的判断其实还做得远远不够。我可以先从 ALE 的初衷讲一下。ALE 当时建立的初衷就是跟允中讲的一样，就是我们怎么样把 Vibe Coding 迅速发展的趋势推广到 Vibe Everything。当时 Vibe Coding 为什么发展那么快？就是因为当时有非常非常多的 Benchmark 都在 Coding 这个领域。而且 Coding 它比较容易 verify，它是一个确定性的 Rubric。大家为了刷这个榜，所以在 Coding 这上面的发展非常蓄门。那么用同样的思路呢，我们如果在其他的各个领域上，尤其是工程，能够客观打分的这些领域上，能够建立各种各样的这样评测体系。你是刷分，但你只要刷的是有益的分，是有益的题，那它模型带来的提升对于人的日常工作来说就是实打实的提升。所以这就是我们当时想建立一个这样的初衷。当然世界上大家职业各式各样实在是太多了，好如烟海。所以我们只是说在第一个版本里面给出一个相对来说覆盖面比较广的初次的一个尝试。然后我们还会继续努力，希望把这个覆盖的更广一些，到某一天希望它能成为真正的 Last Exam。当你解决这个 Benchmark 的时候，基本上就能解决人类社会在某些领域的真正的有益的问题。

何允中：我同意一铀的观点，各个领域的训练肯定是远远没有到头的，然后很多东西都可能还没有被 Rubric 的方式表征出来，所以这里面还有很大的空间。可能我刚刚说 Rubric 到头了，更多的是个行业趋势吧，就这种静态的单轮或者多轮聊天，出一个文本，然后用 Rubric 来检查它，就是纯知识类的，甚至也不是说到头了，因为毕竟还有不同的 Lab，每家的水平都不一样。

孙一铀：只是说今年的一个大趋势是在做这个 coding，然后 coding 逐渐转向了 Analogy work，大家要动手了，这个时候就是存这种文本的 Rubric，我看到需求量小了一点，但还是很大，还是有很多东西没解决。就允中高在提到了对于很多这种文本上的输出，就是说他这个文章写的好不好，你可能有些这样打分的点。但是事实上对于工程领域的一些产出，其实有很多的评测我们确实发现了，除非你把输入固定的特别死，不然它的输出其实有非常非常多的可能性。我举个例子，你让它生成一个游戏，甚至有些数学解法它都不是唯一的。那这种情况下，如果你给一个确定性的品牌，就是你一定要跟你这个 Ground Truths 来对比，那很多时候就会造成不一致的这个问题。所以说，很多时候说我们怎么样定义这个 Rubric，让它能够兼容这种多事多案的输出，其实这也是我们在构建 Benchmark 中遇到的问题，也是未来想要去思考解决的一个方向。稍微抛砖引玉一下，我的一个想法就是未来的这个发展出手可能会，比如说人类他对于一些好玩、好看，他没有办法把它固化下来成为一个可以被量化的一个指标，比如游戏好不好玩。但实际上有些游戏的入门教科书里其实是有各种各样的评判的方式，比如说它那个奖励取闲是不是平滑，符合大脑的那个多巴胺的，它一些有科学的指标可以去量化这个好玩和好看这个东西。但我目前在现在的 Benchmark 上，我还没有看到一个做得特别完整的公开出来的评测体系。因为这个东西难度也确实非常高，因为需要专家的更加更加深度的参与。所以这一点我也想看看允中那边关于在数据公司里有没有看到这一个趋势或者怎么去解决这一类的问题。

何允中：对，这个问题特别好，这也是每天我们在绞尽脑汁的问题。其实整个 Rubric 或者整个大模型的验证体系，我觉得它整体上是有这么一个思路。大家希望左脚踩右脚，就是当我的模型变强了，我这个验证器也变强了。验证器变强了之后呢，我就可以允许一些更复杂的 Rubric，就比如说如果我是一个很弱的验证器，那么我就只能写一些一个傻子都能看出来，就知道是对还是错的这个 Rubric。但是呢，随着这个模型能力的提升，那我的 Rubric 就可以写得越来越模糊，可以把更多的知识交给验证器来解决。但是，我觉得这里总体的一个思路还是说，这个 Rubric 加上验证，这两块加起来的这个知识和能力应该比我要训练的模型要多，不然就达不到训练模型的目的了嘛。那么就回到比如说像是这种说 video game 这种特别特别主观的东西对吧我觉得未来可能是这样的你可能很难把它以很显示的条件一条一条写下来一个好的游戏是怎么样的那它可能有多种这样的可能，所以这个时候我的 Rubric 就会被迫写得更加模糊。这个东西就 By the way，其实不是我们想要的，就通常来说我们会建议这个 Rubric 写得越严谨越好。但是在某一些领域你可能就必须要写得很模糊，这个时候需要验证的模型来自己做一些主观的判断。这个验证的模型我觉得甚至有可能是我要训练一个这个 reward model。我知道比如说在不少 lab 里面这不是客户透露给我们的东西，是我自己的一些经验。比如说生图，生图它有两个部分，一个是 instruction following，有没有遵循我的要求。比如说我图里面有猫有狗，有一个背景板写了那几个字，这个时候我是会有 rubric，我就写这里要有一只猫那有一只狗，甚至我跑一下 OCR 把那个字提出来，然后看看是不是我想要的那几个字，就这一块是属于 rubric。但是还有一块就是说这个字要写得好。这个猫要是一只可爱的猫，这种东西呢，就是我可以写上 Rubric，但它非常主观，那我可能甚至专门训练一个模型，就这个模型它可能掌握了一些人类的主观体验，这些东西可能跟 Rubric 结合在一起，大概率这个问题如果要解决的话，可能是这么一个混合的方式。

主播 Yiwen：因为我们刚刚好像把 Rubric 和环境这两个事情好像是放在对立面来说的，但是听起来一，它们是可以结合在一起使用的，二，有没有一些任务是用 Rubric 来做会比较好的，或者用环境来做比较好的？

孙一铀：我觉得这个肯定是不能拆开来讲的，环境或者说任务数据它只是一个执行的基准，但是 Rubric 是最终用来打分，用来奖励模型做得好还是不好。所以它肯定是相辅相成，又必须结合在一起来看的。我个人更是希望去从一个任务分类的一个角度去看，而且人和 agent 这两个角色如何去合作，它分别担任一个什么角色，这也很重要。我们从历史上来看，就是从最早期 Vibe Code 刚出来的时候，就大家用 cursor。其实就是一个人类也是参与在执行这个代码当中的 Agent 他只负责执行很小的一个模块的一些写代码但后来随着 Agent 能力越来越强 Agent 就你给他一个非常模糊的指引他能够完成一个非常大的一个 Project 的时候那这个时候人和 Agent 的决策又产生了一些变化那现在可以大致分成这两类就是人负责决策 Agent 负责执行。人把你决策的东西说得越清楚，Agent 就能做得更好。至于这两个分类，我们来看 Rubric 该如何去设计。如果我们需要 Agent 参与的角色，它只是执行。你如果把一个任务说得很清楚，它的输出基本上是固定的、唯一性的。那这个东西 Rubric，它就是一个确定性的 Rubric。它打分的话，完全可以基于你自己做出来的一个成品来进行打分，因为一般会有 Ground2 基准数。如果我们咱们讨论未来数据需要行业去，就是当人的这个决策的这部分会不会也被 Agent 所慢慢去取代？那这一部分就是我觉得会回到之前允中说的，大家现在反而没太重视这些 Rubric，因为决策很多是非常模糊，很难去量化。而且允中说你对于一个具体的 Domain，猫可不可爱，你可以 Train 一个这样的 Verifier。所以我个人认为在这一块的模型的发展还有很长的路需要去走，而且这可能是会成为一个未来发展趋势。

何允中：但是对于一个尤其是一个上市公司一个领导层的一个决策，你该如何去 trade 一个 reward，它每天的那个任务都在变，你很难去收集到足够的数据，让你来训练出这样一个 reward model 来替你做这样的决策。这里我特别同意，就比如 ALE 的这个方案我觉得就是面向未来，比如说像这个猫可不可爱，比如说我要是在这个 Meta，我有一些用户行为的反馈，我可以逊这个模型，但是公司的决策我就很难收到这些数据了。比如说像 ALE 这种，就让大家把以往做过的东西还有决策交起来，其实是一个方案。我会觉得以后收数据可能是大家怎么样找到好的激励方式，让大家把一些重要的东西交出来，尽量的能够回溯当时这些重要的决策。

主播 Yiwen：非常有意思。我想再追溯一下评测的近几年的整个一个发展，然后以及它和卖数据之间的关系。因为其实我和两位私下都聊过就是卖 Benchmark 和卖数据这两件事情，大家都觉得不能混为一谈嘛。Scale 之前推出了 Humanity's Last Exam，就 HLE 这个评测，能不能给我们讲一下这个评测，然后以及你觉得它和数据之间是怎么样联系起来的？

何允中：这是个好问题，我觉得从原理上来说，评测它体现的是模型距离我们想要的理想状态中间的这个 gap，就是它更多的是一个科学研究这么一个基准，就是我想要模型在哪，它现在没到哪。但是这个事情跟卖数据联系起来呢，也比较有意思。因为很多时候它提升这个模型能力的数据和它榜单的评测方式是息息相关的。这里面可能比较难的是找到一个平衡。如果我就生产大量的跟这个榜单差不多的数据，那么它可能就在 bench Maxing。但是呢，就是这个大模型训练还是有各种各样的维度。确实如果我想要提升某一类的能力，我需要抓住某一个维度，那么就是说它跟 Benchmark 肯定是有一定的相关性。这个是大家需要找到的一个平衡。因为大家对 AGI 的期待太高了，觉得人能做到的事情他都能做到。那么就是说我在各种各样的领域都可以想到一些方式构造一个 Benchmark，然后发现它这个模型具理想象当中还有一些差距。通常构造这个 Benchmark 的人呢，对于这一块的领域可能认识比较深，那么就自然会给他一定卖数据的权威性。大家会比较相信你手上卖的数据。这个生意就这么产生了。我就相信一铀应该也，就 ALE 现在做的火的 Benchmark 应该也有不少人想问你卖不卖数据啊，或者是有可能 VC 想找你投资。结果逐渐逐渐的就成了一个生意。我觉得就是也有好有坏吧，就是说这个生态其实也还比较野蛮发展，有多少是在做科学，多少在做 Benchmarking。

孙一铀：对，这里的话我也是要给大家敲个警钟，因为允中提到了现在做 Benchmark 的人会受到各种各样的诱惑，就是要去把 Benchmark 数据去卖了。我甚至私下听到是有一些数据公司他踩了这个红线，就是他把自己在做评测的数据去卖。当然，这个是大家千万不能碰那条线，不能让你做的生意污染你这个 Benchmark 的权威性，不然的话，你不仅毁了你的 Benchmark，也毁了其他人的模型。我个人认为 Benchmark 和卖数据这两个东西角色是不一样的，在这个生态系统的地位上，我就认为 Benchmark 面向的是未来。做数据面向的是现在。Benchmark 是面向于未来大家还失望这个模型公司去解决什么目前还没有解决的什么问题。其实 ALE 其实我们在今年一月份二月份做的时候，我们特别害怕 Benchmark 做得太难，导致这个 Benchmark 失去意义。因为当时的模型很多基本上平均分只有 10%到 20%，大部分题目它都是只有拿到零分。我们很担心这样的评测会失去意义，但实际上没有必要担心这个事情，因为 Benchmark 本身就是要面向于未来的模型去做的。数据的话更多是去解决这个 Benchmark 所产生的一些需求。所以说，更说是现在大家在刷这个榜单，然后怎么样去把这件事做好。我认为 Benchmark Maxing 它有好有坏。你只要面向着它这个数据，它不是直接污染你这个 Benchmark。然后你这个 Benchmark 刷的又是有意义的一个榜单。只要这个 Benchmark 和人的真实用户的体验非常接近，我觉得这个 Benchmark 它不一定是一个贬义词。

主播 Yiwen：对，Benchmarking 这件事其实特别有意思，因为一方面我们确实需要一个评测的基准，然后另一方面你又不需要模型公司为了刷评测而去刷评测。我觉得这里很自然就产生一个问题，就是什么样的评测才是有意义的评测呢？因为我们现在一周就感觉可以看到很多新的 Benchmark。比如说从模型公司的角度来说，他们应该怎么样去选，去刷哪些评测，或者把哪些评测作为他们下一步提升模型能力的目标？然后从你们供应商还有 Researcher 的角度来看，你是怎么样去看待这件事情？

何允中：我觉得做模型能力提升最大的 ROI 还是我要放在能力上。这些能力提升它应该是汇集各个 Benchmark。当然就可能有些人有不同观点，因为就对于一些模型厂商来说应用也非常重要。就比如说如果我的这个 Benchmark 是比较贴近一个应用场景，他们其实有动机就把这个场景做好对他们也是有益的。最有意义的事情是大家至少口头上还是奔着 AGI 去的嘛，那我应该考虑哪一些核心的这个认知能力是我需要提高的。那么它体现在 Benchmark 上就是说我可以看到一些泛化性。如果我做了一个提高，它只涨这个，别的都不涨。那么可能有一些不好，所以就回到一开始的问题，未必是说怎样的一个 Benchmark 是最好的，还是说不同的 Benchmark 它测试了不同的东西，我可能要关注的是哪一些这共同的能力能够让他们一起提升，而不是说我只专注于优化同一个 Benchmark。另外再回到 Benchmark 本身的问题，我倒是觉得除此之外，大家确实会关心一些贴近场景的 Benchmark。如果这些场景是大家在意的，它确实反映了这个用户体验，这也是个好 Benchmark，它未必是那么 Universal，未必是那么大的朝着 AGI 去的，但是它就确实体现了大家的体验吧。在这个角度上来说，那 Benchmark 肯定是有千奇百怪，你总会找到一个场景。我觉得可能是两个要素，就是说，这个场景的这个 gap，它是不是体现了一个非常具体的能力的缺陷？如果只是因为这个场景，一些场景知识不太懂，同时这个场景又不太重要，就是我在一个阶角嘎啦里面，我解了一个什么很奇怪的智力题，出了一个 Benchmark,这个能力提升了，未必代表着这个模型本身的认知能力提升了，那么可能就不是一个好的 Benchmark。另外一块就是说，就算不反映核心的能力，它至少反映一个大家在意的场景。比如说现在特别火的是 Personal Assistant，就是这个 MUSE。这是一个很具体的场景，大家都希望有这么一个东西。那么这个 Benchmark 它甚至未必测的是模型本身，它可能还测了你的 Harness。最后这个 Benchmark 它甚至不是为了卖模型的训练数据，而是告诉你我的 Harness 错在哪。可能我可以做些工程优化，就是贴近大家需求场景的 Benchmark，也是好的 Benchmark。所以在我看来，一个是反映了核心的认知能力，一种是贴合场景，当然两个都有的话是最好的。

孙一铀：我觉得最重要的，现在大模型公司很看重的一个就是 Benchmark 的分布。大家应该可能都听说过 Artificial Analysis 这个评测体系。他们其实做的事情很简单，就是把各家 Benchmark 给不同的权重，然后把它综合到一起来，得到一个分数。但这样它就存在一个问题，它这个分布的权重是不是真的是大伙需要的权重？然后权重以什么方式去进行迭代，这个都是挺主观的一个事情。大家质疑的更多不是这个模型本身，而是质疑这个榜单本身。我现在倾向于认为大家可能 Benchmark 还不够好做到大家心目中要的 distribution 那种级别，很难达到一个 ground choice。所以现在很厉害的模型厂商，比如 Anthropic 或者 Oberon，他们都会倾向于去自建一个评测体系，来让它更接近他们心目中的分布。只不过第三方的制整可以让他们对外发布的时候更有说服力一些。当然比如说允中说的一个垂直领域的肯定是非常重要的，因为这个就是面下一类群体，它这个分布就是那个群体需要每天在做的事情，如果它能把那个分刷高，比如金融啊法律啊，他们律师每天做的事情，能把那个做扎实的，那他们法律只需要看这一个 Benchmark 就足够了。第二点就是允中提到了有些 Benchmark．并不能代表真实人生。比如说之前有一些 Benchmark．是测 Agent 智力的，就是玩那种小游戏，那种 Arc Challenge 的游戏。

何允中：对，Arc 2,Arc 3 这种。它这个 Benchmark．的书中是说，觉得能解这些游戏是人类的一个智力的体现。但是没想到，就这个智力其实也是可以做得特别特化，我一个小模型也能把它搞出来，还挺有意思。

主播 Yiwen：那有没有什么特别 Niche 的 Benchmark 但是可能大众不太了解但其实是非常有用的测试这个模型能力的例子？

何允中：我可以举个我们的例子，我们有一些 Benchmark 可能不太经常出现在大家的榜单上。比如说我们前一阵子做的 Drug Discovery，还有一个跟 AI Tutor 相关的，他可能关心的是一个比较小的垂直领域，但是跟我和各个 Labs 的交流，负责相关领域的团队，他们通常就会有这么一个人，他们会看市面上跟他领域相关的评测，他都会把它收回来。然后另外一个就是说这个 Benchmark 最后上不上榜单火不火其实也有很多随机因素比如说 AA 就有一个很好玩的事 AA 用了我们做的一个榜单叫 SWE Atlas 我们当时是做了几个不同风味的 SWE Test 其中有 Q&A 就是代码仓库问答还有代码重构，还有写 test，只不过我们是分三个阶段推出的，是 Q&A 先推出，推出之后呢，我们还没来得及把另外两个推出把它们合在一起，然后 somehow 那个 Q&A 就先被 AA 减去了，Q&A 上了 AA 之后呢，大家就开始 site 这个东西，突然间就这一块需求就变大了，我们当时想得很不理解。Q&A 是最简单的一个场景，就是我们花了那么多心血做了更复杂的 Benchmark，结果就是因为可能是时间关系，还有的时候是某一个 Lab 用了可能是碰巧它的分好。这里面其实是有一些随机因素，就是你在这个榜单上，大家 Tag Report 上看到的东西有一定随机性，AA 收这些榜单有一些随机性，最后就是你没看到的东西其实背后可能也有人在用，这个生态其实水还比较深，还比较复杂一点。

主播 Yiwen：明白。一铀，其实我还想再问一下，就你刚才提到的大家对于 Artificial Analysis 这样榜单的质疑，然后你觉得说是不接近于大家理想中的分布，这个分布现在有没有一个共识呢？因为我理解每个模型公司对于分布的需求其实也是不太一样的是吧？如果是在这种情况下的话，我们怎么样去理解这个理想状态下的分布？它是应该比较接近真实世界的这样一些任务，还是说是别的分布？

孙一铀：我觉得真实的分布其实本质上就是大家的用户体验。就是世界上假设说存在这样一个 Ground Truth，就真实的分布的真实的打分。其实有点类似于 LM Arena 这种模式。假设说你每天 prompt 这个 agent 的时候，你能够有多条模型一直在执行，然后给他们打分，这是最真实的评价。但是这个现实生活中能够做到这样的榜单有以下这种因素。LM Arena 之前做好是因为之前的 QA 它这个很快，它开销很低，你给它一个问题，它能够几秒钟之内给你个答案，你很快就能进行打分。但现在在 Agent 的时代，一个长程任务动辄几个小时。一个用户也没有那么多的超能力，每次执行一个任务都连着开几个 agent 一起去执行，然后也没有个机制去反馈把它收集起来。所以说大家的评价很多都是一个偏主观的，他很难拿到这样一个真正的 ground truth。但如果说有哪家公司或者有哪家有某种方式解决了这个问题，那肯定很厉害。但我相信他们大模型公司内部肯定是有这样一个机制的。就是让它有几个版本的模型，然后有一些用户它是真实用了这个东西，然后去测。我的意思是假设有这样一个 distribution，然后你这个评测的分数的分布接近于这个东西，那它就是一个很好的 benchmark。

何允中：我听到一些比较有意思的，很多评测 benchmark 跟我线上做 AB test 测出来的结果是不一样的。用户的转亏跟评测其实有时候不太一样，甚至很难说哪个好，因为用户有时候也比较主观嘛，像这种聊天的，你可能给他特别多这种 factual 的东西，versus 给他很多这种 clickbaits，就说他爱听的话，可能这个结果也不一样，所以这块还是挺复杂的。

孙一铀：对，是这样的。就像 Cloud Code，我觉得在 AreaM 那上分数一直疗有领先，就是因为我觉得 Cloud Code 它有个特点，尤其中文用户或者英文用户，它给出来的 output format 更贴近于人们心目中想看到的，就非常容易去理解。相反的，Codex 它可能执行的更细致一些，但是输出的东西就没有那么容易去相对的没那么理解，

何允中：所以说稍微吃了点亏。但我个人体验用户下来，他们两个可能是不相上下，其实我个人还更偏好于 OpenAI 那边一点，因为它做的更细致，翻的错误更少。

主播 Yiwen：所以这个确实也是很主观的一个事情，去怎么定义好这个 distribution。所以在这种情况下，模型公司还会把 Benchmark 视为判断自己模型能力的一个标准吗？

孙一铀：他们肯定也是在乎外部的评价。不同模型公司，我先说美国那几家大的，他们肯定是倾向于自建为主，就是自家的 evaluation 团队，因为他们有这个能力去建。但是对于一些比如说刚成立的或者相对没有那么有名次的一些 Frontier Labs 或者他不是头部的 Frontier Labs，他们肯定是会非常依赖于外部的评测，因为他内部的评测团队可能没有那么有经验或者那么完善，或者说他们的人力资源更希望投入到模型的训练和开发当中，而不是去直接利用，所以每个公司的测标都不太一样。

何允中：其实我的个人判断是说当一个产品逐渐成熟之后或者当你积累了一定体量的用户之后最后你其实关心的还是用户增长比如说我之前其实做了很多年在 Meta 做搜索跟推荐逐渐的就变成了一个类似搜索推荐的问题就你看什么样的指标跟用户增长最相关最后就是朝着赚钱的方向走的。现在可能真正能够评测到这个能力的 Lab 不太多，需要一定的用户体量，可能在这个聊天的场景就比较成熟了，但是呢，在这些 Agent 的场景上呢，能做到这个程度就更复杂一点。大模型可能跟传统这个收推不太一样的地方就在于说它的场景很复杂。就算我能够在这个 chat 场景做好很好的这个 AB test 甚至迅这个 reward model 来朝用户喜欢的方向发展，我总会有新的东西出来。而且大家一直在看新的东西，比如说现在大家都在卷这个科学发现。科学发现我不可能有足够量的科学家给我显著的 AB test 的结果，必须还是要依靠场景构造 Benchmark。我会说因为大家对这里的应用场景的期待太高了，场景增长的速度赶不上我在这个领域用户沉淀的速度，还是有大量的需求要依靠 Benchmark 来做评价标准。但我会觉得在某些领域沉淀下来之后，大家会有更多的线上评测体系，然后可能会向这种传统的互联网增长，看看哪些指标跟用户的 DAU 增长更相关。

主播 Yiwen：对，能不能深入讲一下数据采购这件事情，我觉得就是有几个点非常有意思。第一，你提到了刚才有很多小的公司其实是现在一个创业机会嘛，只是为什么我们看到很多最近新起的一些四五个人甚至两三个人的这些数据创业公司拿到了非常高的估值，这是不是就是因为他们的目标就是这些非常垂直的领域的数据？

何允中：对，我觉得这里可能有几块问题。首先，我觉得最近兴起的这些 RL Environment 公司其实更多的是在做合成，因为整个数据行业已经从找人标注慢慢的过渡，你要交付的是一整套环境。然后这个环境可能需要大量的工程工作在里面。很多在这些合成的技术站上做得比较好的一个小团队，其实可以比较短的时间交付大量的合成环境，这些未必是不好的，就合成它有时候你也可以基于一些强的模型，或者说基于一些半成品的这些 Artifact 是可以做出一些好东西来的。现在这里是一块增长，但是再往下走，这里面比较有意思的就是说，这个东西之所以能成立，因为大家今年的主题是在卷代码。软件行业是最奇怪的一个，它非常的 open，有大量的公开资料，而且我们生产数据的公司同时大家都懂代码，所以就这个比较好解决，让一些小的团队有很多机会可以自己造很多数据。但是我觉得再往后面走，比如说这些其他领域的垂类就更复杂了，这里面我会看到了有一些公司，他们可能解决两个不同的问题。比如说像我们做后训练数据，其实在我看来是两个问题，第一是采购，就是我要把原材料买回来，就好像 ALE 让大家上传，对吧，这是一个比较新的经历机制。然后加工，加工就是我们再把它标注或者是通过一些 Agent Pipeline 把它做成适合大模型训练的环境。在垂直领域问题上，采购变得越来越复杂。甚至在代码领域，采购私域的代码仓库，谁能把问题解决好，就是一个巨大的优势。在垂直行业，比如说我做芯片设计的，我可能要把整个芯片设计的环境给造出来，可能当中涉及到一些商业软件，那我怎么样把这些商业软件的版权拿到，把它包在这里面，就是一个问题。还有一个就比如说做 DevOps．﹑我要是一个系统工程师．﹑我要操作什么 AWS 之类的．﹑然后我之后有个公司做了一整套 AWS 模拟器．﹑每一个锤类的这个环境都有一些很深的东西你可能要采购．﹑可能要定制软件．﹑大家抓住一两个锤类把这个东西做好其实创造了很多新的机会。

主播 Yiwen：明白，因为刚才我们提到这些垂直场景，比如说在 Drug Discovery、这些生物医药方面的还有一些具体行业的评测下面，我们可能没有足够的场景，或者没有足够的好的评测，在这种情况下我们有足够的好的数据吗？

何允中：这里其实有一个难点。每个领域它需要一些人把它的专业知识吐出来之外，我还需要这个领域的这个东西，像药物发现，然后可能需要很多一些私有的数据库。这里面我觉得是目前这个行业一个大的卡点，就是你先要能把这些东西买到，你知道大家手上有什么，才能把它做成 Benchmark。ALE 其实很大程度上是在解决这个问题。

孙一铀：对，ALE 就是希望大家能够以众包的方式，让专家把自己做过的 project 交上来。当然这里面有一些不符合规范的我们都筛掉了，因为他们甚至把一些非常非常死的东西都交上来了，比如说什么法院的一些证据什么，就是非常，对，然后我们尽量把这个都筛掉了。比如说我们现在在 V2 中，我们也尝试去收一些数据。

何允中：比如说 Steam 上的一个游戏库，就游戏开发的一个任务。它一个那种名不经经赚的一个大概几千人体量的一个 Mobile 的游戏。它要价能要到两三百万人民币一条。我觉得哪家数据公司或者做 Benchmark 都没有这个财力去做这个事情。就是这个游戏公司会要加油到两三万一条。要这个游戏的源码。就比如说很多公司想要采一些游戏的视频，然后做一些标注。游戏视频可能是版权数据。这里有一个巨大的采购问题，我觉得这里是一个商业集会。我现在其实看到不少 Startup 在解决这些问题，就绝大多数商我们自己也在投入做一些采购方面的工作，但是总体上来说我觉得这里很有巨大的问题没有被解决。有哪些现在非常热门的垂类是数据非常少的？我会说至少医疗算一个，就是数据比较敏感，就是谁能拿到大家的病例数据，那就非常有优势。对，因为其实也有很多新闻讲到说可能在法律或者金融的这些领域会有一些之前离职的员工可能会去分享他们的工作流，不过可能工作流数据和像医疗数据里面这些病人的 data 还是不太一样。是的，各个领域，我觉得甚至现在大家之所以都在说金融、医疗，只是因为跟大家比较息息相关吧，大家多少还懂一点。其实这个世界上有很多我都不知道的行业，就是你真的要跟他们聊才知道，就比如说我才知道就做这个药物研发，大家还会交易这些分子，一个分子还能捣腾几套子里面还要做滴滴。所以可能没有做只是因为大家不知道。

孙一铀：大概有 3000 个节点。然后我们也做了一下工作，就是把现在已有的市面上的 Life 和 Bio 的 Benchmark,已经覆盖了多少，做了一个统计。大概是可能 10%、5%都不到。现在它连一个成型，就是覆盖面完全的一个 Benchmark 市面上都没有，更别说是针对这个去做相应的数据。

主播 Yiwen：明白，那像我们刚刚提到了这些做合成数据的小公司，他们能赚钱的周期有多长呢？因为听起来好像都是这几年新出现的这样一些公司，这些数据它的生命周期有多长呢？

何允中：嗯，这是个好问题，至少现在需求还是挺大的，然后未来可能说比如说这一波 coding 讲完了，那么他们需要新的品类，大家能不能抓住下一个机会。而且下一个机会可能跟你现在的运行模式不太一样，比如说我自己也会觉得采购会很重要，那么采购能力比较差的可能就比较难，或者就像一铀他们，你可能有些新的激励机制，让大家把东西交进来，对吧，所以可能以前的一个激励机制是招聘平台，或者就给你一个小时工，但是以后可能有新的激励机制，就谁能把这些东西玩了转，可能会继续有一些�

孙一铀：这个地方我想问一种你的看法，因为我个人认为随着模型能力越来越强，模型公司自己内部创造数据的能力也越来越强。这一点你认为这个饼是越来越大的，但有没有可能会出现一个情况，这个饼面向于非头部公司的这个机会反而是门槛是越来越高的，入场券是越来越难拿的。就是数学这块领域。之前的话，大家只是要去影印那些奥数课本。就能够去批量造出大量数据，但这些数据现在基本上是零价值，所以你是怎么看待这个趋势，就未来的数据公司的这个发展方向，对。

何允中：我会觉得从第一性原则上来说，还有巨量的问题没有解决，你要想这个世界上还有多少东西没被蒸馏干净，是巨大的机会。但是如果你就看现在大家是怎么运行的，这个事情当然会越来越难，因为越来越多的这个玩家进来了。我觉得大家如果只盯着我手上的工作，这个一定是越来越难做的。就算这个 Labs 不自己做，越来越多竞争对手进来，你的 margin 也会越来越低。所以在我看来，一个好的数商其实最后解决的是个研发问题了。就好像一个软件公司一样，我要提前投入未来大家需要的东西，赚到钱之后再投入下一个东西。在 Lab 本身呢，我有个暴论，可能 Lab 是未必有最好的基因来解决数据的问题。这里面可能有几块，比如说合成数据，合成数据其实按理说很多就是这个 Lab Research 的本职工作了，尤其是搞后训练的，大部分时间都在花在搞数据上，就是买数据、核数据、验证数据、洗数据。但是这个领域你会觉得为什么外面的人会有机会呢？SumHow 今年的这一波增长都来自于一些懂行的人在外面把这个数据合了再卖回去。所以这个事情是存在的。我觉得一方面是因为大模型公司现在有太多的钱了，就是你自己造外面买其实也不矛盾。但是在更长远上来说，其实有很多问题可能模型公司没有太好的基因解决。比如说如果我要采购，我要把一些行业的东西先采购回来，蒸馏出来，这个时候我会觉得大的 Lab 可能未必有那么大的优势，它甚至可能会有一些 conflict of interest。比如说一方面把你的这个 FDE 派到了人家企业里面，然后另一方面你有一拨人在搞这个企业数据，那么我会觉得如果我是一个企业，我是不太放心把我的数据交给你的。出于这些原因，有一些东西可能 Live 不太适合自己做。他可能还是需要第三方的人帮他做一些采购，或者深入到一些行业领域里面去。我会觉得一个数商真正要做的事情是研发，看看未来还有哪些行业是重要的，这些行业有哪些东西我要值得投入，把东西买回来。然后我自己先投入 R&D 把这个行业的问题给研究清楚，然后再把它做成 Benchmark 或者说数据，甚至证明这个东西的有效性。然后我再转手卖给 Lab。从 Lab 来说，大家的 deadline 都很死。如果我是一个 Lab research，如果你让我花半年的时间来解决一个行业，可能有时候大家其实没有自由度。就是这个时候你看到，那边有一个数商说，我把那个行业的东西搞清楚了，你要不要？大家通常都会看一眼。

主播 Yiwen：所以我觉得其实长期来说拼的还是一个研发能力。你觉得这个趋势对于大模型公司来说会持续吗？因为现在模型公司里面也有自己的数据团队嘛，但是你觉得他们更愿意去从第三方那里收数据，而不是自己去造环境造数据？

何允中：这里我觉得可能不矛盾吧，因为最后模型公司最高的优先级还是把东西做好。如果他们自己能生产好的数据的话，有可能会倾向于自己生产。只是现在大方向上来看，这个世界上还有太多的这个工作流没有被折腾清楚了。那么对外部数商的依赖我觉得是长期存在的，甚至就是一个大模型实验室自己可能未必想要投入那么多的资源，做的这么重，可能更 prefer 灵活一点。缺点就是说大家可能希望更多的东西是第一方的，不希望所有人都能从数商中获得这些能力，所以就从这个角度来看会有一定的动机自己研发。比如说现在很多 Labs 在做 Expert Matching，就是说你把人拍到我这里来，也有这么一些趋势。我自己也会觉得说，现在有太多东西没有被解决了。不管是谁把这些问题解决了，那他一定是有赚钱的机会。这个东西可能跟在哪里发生不是很有所谓，现在是机会多，比你在变大的这么一个阶段。

主播 Yiwen：但这也是大家对于数据一直有一个问题，也就是说如果一个第三方供应商把同样的数据卖给不同的模型公司，那他中间怎么样去区分呢？这里通常来说有个比较简单的解决方案，就是说你可以花多点钱把这个数据买断。你觉得对于模型公司来说，在数据供应商收到那么多数据的情况下，他们怎么样去使用这些数据，这个流程能不能给我们讲一下？

何允中：这里面一般来说它是有一些比较固定的训练方式的，我们把它叫 Training Recipe。比如说像是比较简单的这种数据，可能就是直接 SFT，就是我把对的答案给他就行了。然后像是 Rubric 这一种，他可能就是在做强化学习，因为就是不停的有一个模型在给他打分。比较有意思的是现在这些 RL 环境，比如说最近大家在卷的一些特别长省的任务。现在今年的一个主题是 RSI，就是 Recursive Self-improvement，它其实是个 buzzword，就是说 AI 自己研发自己，大家最近就在看那些我跑一把，可能要跑个几天一个星期，其中你可能要有个 GPU，等等在上面模型蓄模型的任务。这里的训练方式其实就开始变得有一些模糊了。我们也在一起研究这里面的训练方式要怎么搞。但是我自己就觉得这里面其实还没有太多的共识，所以还有很多有意思的空间。就对于数商来说，有时候也不完全是就造一个模拟的 task 这么简单，你还要考虑到它模型公司拿去要怎么训。然后针对它怎么训，可能还要有一些定制。

孙一铀：对，这一块我也比较好奇，如果说你就是为了 Benchmark，你就是你拿 ALE 的一些任务你直接去训练，就类似做一批这样的数据，那你怎么保证这个数据它训练出来，它模型能力、泛化能力是能够提升，能够被迁移到其他的任务上去，然后这个东西有没有一些比较系统化的、科学化的方法来做这样的验证呢？如何在不吹一个模型之

何允中：对，我觉得这里其实有一些技术，比如说现在如果我要造一个环境，大家最怕的就是 Reward Hack，就是它有捷径。如果明明我没有完成这个 Task，我可能是做死了一些手脚，结果 somehow 我的这个分可以打得很高，就是我迅速来这个模型肯定会变成一个耍滑头模型。这种东西肯定是不希望发生的。那么通常来说会有一些技术我可以用 agent 来做这个 red team，就是我会让一些比较强的模型来试试看能不能在这个 task 里面找到捷径。另外就是这里面很多是我自己的个人猜想就不代表 scale AI 或者任何客户，就是说在训练这些东西的时候，很多 Benchmark 我们可能只关心最后有没有完成这个任务，就是我们验证器是围绕这些东西设计的。但是我怎么样完成它，这些东西可能也会在模型训练里面有一些关键作用。一个比较 trivial 的例子就是说，Budget，就比如说我训模型的时候，我会关心它是不是消耗了过多的 Token 或者用了这些步数。那么我们在训练它，比如说在拿 NLE 的模型数据训练的时候呢，肯定我最后的 reward 会很复杂，不是说我把这东西解出来就行了，我可能还关注它消耗了多少资源。最后可能是在各种各样维度的检查 reward，防止它作弊，这些东西结合起来，才能完成一个训练的 recipe，其实就感觉也没那么简单。

主播 Yiwen：这些可能是训练数据更多要考虑的问题，就是说我这些数据能不能导出一个比较好的训练方式。能不能讲一下像 RSI 或者就因为刚才我们也提到很多 Neolab 嘛，像在这些情况下做这些训练需要的数据有什么不一样吗？或者需要的定制有什么不一样吗？

何允中：通常来说最常见的定制其实是难度。大家做 Benchmark 的时候一般来说至少希望它不那么饱和，那就意味着越难越好，但也不一定，比方一有说的也不要就完全解不出来。就是 Benchmark 的难度更多的是一个客观的反映我这个行业难度的事情。但是在我续模型的时候需要做一个特化，就是说这个难度对他的模型要是适中的。我们有时候会做这个事情，模型厂商会把他甚至还没有发布的这个模型给我们，然后我们帮他筛数据。这个题目对他来说不能太难，也不能太简单，因为现在做这个强化学习是说让模型在上面自己试，如果试对了的话，他就能学到一些东西。那我给他提太难了，他啥也做不出来，肯定就不行。所以在这个难度上会做一些适配。然后另外可能我们会做一些轨迹采集。就比如说如果你把你的摩星的轨迹给我们，我们可能把这些轨迹采集出来，然后帮你做一些筛选。甚至我们想办法用人给你搞一些可以解这些问题的轨迹，这样你可以拿回去不需要做强化学习，你可以直接到这个轨迹做 SFT。针对他的这个训练需求，

主播 Yiwen：数据污染的这个问题。因为今年二月的时候，OpenAI 就宣布停止报告它在 SWE-Bench Verified 里面的分数。这个其实也是一套评测，具体来说就是让 AI 修复真实开源软件里面的项目问题，再通过这个测试来判断它有没有修好。当时 OpenAI 主要是指出了两类问题，一类是它测试本身可能会有缺陷，比如说有的功能上正确的解法也会被判错。另一类就是数据污染，这个我觉得很有意思，它们发现是在特定提示下面，模型能够附现部分题目原本的人类修复代码。也就是说模型很可能在训练过程当中就已经接触过相关内容了。所以这个分数就变得有点难解释了。我想问一下两位是怎么理解数据污染这个问题的呢？

何允中：就 SWE-bench 这一类数据其实有一个问题，它可能甚至还不是污染，就是它 task 可能就做得不够好。就比如说有时候有一些错误是假错误，就比如说可能我的测试脚本要求的太多了，或者是我的 task 没讲清楚，有这么一些类型的原因吧。另外一个污染可能是说模型育训练的时候把这些东西都训练进去了。这里面其实是有一些技术可以检测到这些东西。我想 ALE 上面应该会有一些这种经验。

孙一铀：要不然他说不采用 SWE-bench，他是连 SWE-bench Verified 也不采用。就是当一个 Benchmark，我印象中它是在过去的六个月内只从 74%提升到了 80%，然后剩下的那些问题可能是脚本写得太 harsh 了，或者它的题目本身就是不可解，或者就是会有各种各样的问题。然后它剩下的可能 20%都是集中在这个问题上，那这个 Benchmark 本身可能就失去了它对比的意义。ALE 也没有解决一个问题，这个也想跟允中探讨一下，就当一个专家他本身提交上来的材料本身是错的时候，我该如何去预防这个问题？这个是我们真实发生过的，因为我们专家五花八门。当然这样的人很少，他是为了提交这个任务，然后为了拿到作者，因为我们的奖励机制就是你提交了这个东西，然后我们接纳了你这个任务，就能被纳为作者的列表的一部分。确实是有人为了提交而提交，然后他甚至持了 Agent 去合成了一堆乱七八糟的数据，甚至有些数据交上来，我肉眼看出来他就是编的，这个东西是确实对我们工作造成了很大的困扰。

何允中：这是个特别大的问题，Scale 总是有人，总是可以靠人解决的。这里有个特别有意思的问题，比如说一铀提到了我给他这个 Authorship 是一种奖励机制，那他会带来一定的问题。比如说就 Scale，那更原始的，比如说我就给你小时工，那大家也有一些偷懒作弊的方案。我会觉得这个奖励机制是个特别特别难的问题。长远来说，比如说我的目标是把人类都征流干净，对吧？怎么样设计一个好的奖励机制？把大家的目标都 align。我觉得这里其实有特别大的空间，这里可能是个巨大的 research area。我自己心中可能有一些方案。Proof of work，就比如说我要求你把做这个东西的一整段工作流程全部都录下来。你必须要做到多少时长或者怎么样。不同形式的问题它有不同形式的奖励和验证机制。这里面其实有很多玩法值得大家探索。

主播 Yiwen：这里面其实也涉及到一个更大的问题，就是很多数据它本来也就是公开数据嘛，就是网上的一些资料啊，公开代码啊，这些东西，所以这些数据是不是本身就注定了会有污染，一般是怎么样处理这些情况呢？

孙一铀：其实最简单的污染你直接问 Agent．他都能找到。公开数据其实还好检测，我觉得最难的是编造数据。比如说让你去做一个化学模拟，就他根本就没有跑过这个任务，他自己编了一套似是而非的东西。你没有个几个月根本查不出来这个问题，因为他看上去很真。什么时候能发现这个问题？当所有的 Agent．的能力远超这个问题本身的时候，他发现所有的答案他们都是做出来是一样的，但是跟这个正式答案是不一致的。这个时候我们就会查出问题，但这个周期会非常长。但是你让另外一个专家去验证这个问题，它成本又非常非常高，因为它本身这个问题它都是要专家花一个多礼拜或者两个礼拜才能做出来的。对，然后那个验证的专家你要保证他。验证的专家他本身也会为了一些东西偷奸耍滑说这个东西，哎，它就是对的。

主播 Yiwen：所以每个涉及到专家评测都会有这个问题吗？

孙一铀：对，都会有。众包的 Benchmark 为什么难做？就是难做在这里，人性是非常复杂的。

何允中：是，我觉得这里他可能甚至验证的是一环，我自己觉得确实在奖励机制上。比如说，如果你就让他真的老老实实呆着住 12 个小时，对吧？你给我合起来假数据，你也要把每一步都给我交出来，要求你必须做这么多的动作，那他可能就没有那么大的动机给你合假数据了，这些是比较值得研究的方向。

主播 Yiwen：嗯，很有意思。其实我本来是想问一下真实工作流的数据，但是听下来大家现在还是在卷 coding 数据是吗？就不是在做真的 workflow。因为我理解是比如说像 Mercor 这样的公司就是有在卖一些真的 workflow 的数据，但是听下来 coding 现在还是这个赛道最卷的。

孙一铀：其实你怎么定义真实工作流的数据？就真实工作流的数据本质上它都能够被划归到一个 coding 的问题。就比如说对 3D 建模这个问题，其实有很多比如说 FreeCAD 什么它都是提供了现成的 API 让你去做这个事情的。就是这不是传统意义上的 coding，就是让你去写一段代码去解一个 lead code 的这种 coding 题。它是用 coding 去解决真实 workflow。

何允中：所以说只要有足够的 MCP API 调用，它其实本质上 95%以上的任务都能够被划回到 coding 的问题上来。对，就是可能有一些小的，可以看它这个 Task 本身是要的什么东西，它涉及到的一些环节是什么，能把它归结到不同领域的工作流上去。但是就我同一铀说的，现在因为你让 Agent 来做事情，代码就是他的手跟脚嘛，所以它其实归根结底，Coding 肯定是其中的一环。

主播 Yiwen：明白。你们觉得在私有数据需求依然很大的情况下，未来的数据公司会不会从卷采购本身变成卷并购，就是去收获一些垂直领域的公司？

何允中：对，不评论 Scale AI。我是听说有一块很大的 Private Equity Business,就是说以前大家是 Flip 公司嘛，现在 Flip 公司的一个新的方式就是说我买了这个公司，然后我用 AI 让它体效，把一些人踩了，之后呢把这个公司的价值做上去再把它卖了。现在就多了一层，就是除了我买这个公司，可以把它从组打包用 AI 提效之外呢，我还能把它的数据发掘出来，它的数据还能卖一些钱。所以就是让这些整个买公司的行业又多了一个玩法，就很自然的，大家就是数商或者就传统做 Private Equity 的公司也在看这个数据怎么能够卖钱，然后就兴起了一整个领域。我甚至觉得说，如果真的未来比如说五年、十年还是这个速度发展。大家还没有遇到瓶颈的话，把各个行业的东西都给拿出来，可能这个东西跟大模型本身就是世界上最大的两个行业。当然这是比较极端的，这个 AI do, miss, do, view，可能会导出这么一个世界。

主播 Yiwen：嗯，是的，但是听起来其实数据行业本身也是在变化的非常快，因为就像我们刚才提到从这个 Rubric Data 到 RL 环境的这样一个变化。所以有什么信号会让你觉得有某一个领域或者某一个赛道它可以持续地增长吗？

何允中：我会觉得首先还有很多没有解决的问题，机会还是很多的。另外一方面有越来越多的玩家进来了，比如说每年都有很多新的 New Lab，资本市场还是以这个方式运作的话，这个饼是越来越大的。但是这个数据变化很快，不太像是一个我可以躺在一个地方一直吃老本的生意，数商要疯狂地迭代自己，那么最后可能是拼大家的 R&D 的能力，或者说谁能把这个 R&D 的这个能力本身固化，做成一个 flywheel，我有一个流水线可以一直在发掘新的东西，也许这个是未来最大的优势，但是就这东西上来说，我会觉得现在是百花齐放吧，未来机会还很多。

孙一铀：这我也是从一些地方听说就是数商呢他估值空间一般没有传统的这个公司来的大就是因为他很难把这个杠杆保持住然后让你以很轻松的方式在一个积累的用户量情况下就能躺在那里吃老本挣钱就像 Facebook 呀 Google 的一些生物业他已经有积累大量用户他就能躺在这些 APP 上转钱但数据生意呢领导者必须持续地去思考下一步在哪里，持续地去迭代，因为模型迭代速度太恐怖了。

主播 Yiwen：你觉得你们现在在做 ALE 2.0 的时候最难的是什么？

孙一铀：我觉得学术上相对容易一些的，比他们 Scale AI 再做上一上，因为他们给我们的数据很多都是无常的。但是我能够想象得出，我如果是一家数商去收这个数据，它这些都是天文数字，就那些收上来的原始项目和代码。而且很难找到一个很好的奖励机制，让这些专家能够自愿地把这个交上来。我拿 Mercury 他们官网上给专家一个小时的价格来说，比如说制造业的工程师大概是可能一两百刀一个小时。这种价格就限定了，它不可能招到特别特别高级的工程师。但是为什么学习就好做？因为我们能够自然而然地适应到一些这种级别的人来帮我们收集数据。因为他们不求钱，他们图的是大家一起把这个事情做好，图的是个名。所以说这个奖励制度不一样就导致你能适应到的人不一样，你的上游是不一样的。

主播 Yiwen：OK，很有意思。好呀，那我们就到这里结束吧。谢谢允中，谢谢一铀参加我们的节目。谢谢谢谢。好了，以上就是我们这期播客的全部内容了。国内的听众可以通过小宇宙苹果播客、网易云音乐、喜马拉雅 QQ 音乐、蜻蜓 FM、荔枝 FM 来关注我们。海外的听众可以通过苹果播客和 Spotify，或者在 YouTube 上搜索硅谷 101 播客来关注我们。我们部分的文字稿还会收录在硅谷 101 的微信公众号上。谢谢大家，我们下次再见啦！