a16z 领投 Preference Model：1,600 万美元，给 AI 盖一座堵得住作弊的训练场

北京时间 2026 年 10 月 8 日凌晨，a16z.news 刊出一篇投资公告《Investing in Preference Model》（页面标注的日期为 10 月 7 日），作者是这家机构基础设施团队的普通合伙人 Jennifer Li，正文约 710 词。同一天，被投公司 Preference Model 在自己的博客上开源了一套叫 Karotte 的框架。1

a16z 这篇文章的主线是一条比喻加一层定义。比喻是外科医生：今天的模型读完了比任何人都多的代码、论文和人写的字，可是「知道」和「会做」是两件事。定义是它给的解法：模型拿到一个目标、一个沙箱、一批工具和一个打分器，自己动手试，从做对和做错的结果里学。这样一套装置叫 RL 环境（reinforcement learning environment，强化学习环境）。1

按原文的说法，过去 18 个月里实验室对 RL 环境的需求涨得很快，任务集中在编程、研究和操作电脑这三类真实工作上。难处在于模型找捷径的能力：它会去读答案文件、改动测试、把打分器弄崩，以及悄悄跳过打分器没在查的那部分指令。这些行为统称 reward hacking（奖励作弊）。

原文为此摆了两条证据。一条是 Anthropic 的发现：一个在编程任务上学会作弊的模型，到了别的场景里变得更爱欺骗、更愿意搞破坏。另一条是 OpenAI 后来放慢了训练。原文还补了一句判断：再好的环境也有保质期，模型把任务练熟之后，学习就停了。

接下来才是被投公司。Preference Model 选的方向是 AI 研究和机器学习工程本身——写内核、调训练、整理数据、设计实验。a16z 认为机器学习工程任务对实验室格外有价值，建环境也格外难：任务长、开放，绕过测试的办法多。这家公司过去一年给若干前沿实验室建环境，重心放在基础设施上——找出模型哪里弱、针对弱点生成新任务、再让智能体主动去攻自己建的环境。这一周，它把生产环境用的框架 Karotte 开源，框架里内置了评分前先杀掉游离进程、拒绝用来弄崩打分器的文件等防线，据称经过 100 万次以上评测运行和受控红队测试。1

原文最后交代了两位创始人：Jennifer Zhou 是 Anthropic 早期团队成员，参与搭建预训练数据基础设施、分词器和 Claude 的预训练数据集；Ning Cao 是 DatologyAI 的早期员工。1

这篇公告里没有金额，也没有轮次。把它和公司自己那篇放在一起读，缺口就露出来了。23

许可证属于可以自己动手核的一类。Karotte 的仓库主页写明 MIT 许可，模板目录用 MIT-0，这样从模板生成的每个环境都不必再带许可声明；安装需要 Python 3.12 和 uv，默认把每次运行放进虚拟机（macOS 用 Apple 的 container，Linux 用 Firecracker），文档在 karotte.dev。4

「RL 环境」听起来像一个词，落到这家公司的官网上是四类具体任务，每一类都标了模型在单次运行里的成绩。3

这张表要连着它的来路一起读：四行数字全部出自公司官网，模型是自己选的，参照基线也是自己跑的，而且写明了是单次运行。它说明这家公司建的环境横跨图形内核、游戏与数据整理。至于这些成绩能不能复现、换个模型还能不能成立，官网没有给。

原文把 reward hacking 当成整个投资逻辑的起点，还引了两处外部材料。这两处都能打开核对，核到的内容和原文的写法有出入。1

公司那篇公告把「评测」和「训练」的差别写得比 a16z 更直白：在评测里，十次出现一次的作弊只是让榜单分数偏高一点；在训练里，同一个短路会被反复强化，原本十次才试一次的做法很快变成模型的默认做法。这条推理决定了它的产品形态：客户买的是一块经受得住优化器反复找漏洞的训练场，题库式的产物在这里只是副产品。2

开源框架本身有一篇技术长文配上自制的对照图，做法是把市面上一批同类框架按住默认设置在同一个脚本化智能体下跑一遍。9

五类手法的具体形态和 Karotte 的默认做法如下。9

这张图要比着它的边界读。比的是各框架「默认设置」下的表现，任何一套框架都可以靠额外加固把这五类漏洞补上；测试脚本用的又是 Karotte 自己写的作弊手法。技术长文里另有一处值得记下来的态度：作者把「别对 AI 撒谎」写成一条原则——如果提示词要求一件事，而打分器奖励另一件事，模型学会的是「打分器说了算」，指令本身从此不作数。

SemiAnalysis 在 2026 年 1 月给过一组数列：卖 RL 环境的公司已经超过 35 家，多数是种子期、二十人以内、同时服务一到三个客户；Anthropic 一家的合作方就有 12 家以上，并且在有意把供应商做多，好让成本降下来；电脑操作这类要复刻真实网站的环境，业内常见的报价是两万美元一个网站。同一篇文章点名的一批公司里就有 Preference Model。10

还有一份公开目录在持续维护这类公司，按领域、地点、团队出身和代表作分级，最新的条目里既有 Mercor、Surge、Scale、Snorkel 这类数据与人力巨头，也有 Mechanize、Datacurve、Emulated 这样的专做某一领域的小队。11

摆在 Preference Model 面前的直接参照物，是它在技术文里自己列出的那几套开源框架：Harbor、HUD、AgentEnv、Prime Intellect 的 verifiers，以及英国人工智能安全研究所的 Inspect。这个位置意味着它要同时面对两种比较：跟同行比谁的环境更难被攻破，跟开源社区比谁的环境跑得更省事。Karotte 的仓库里写着每次合并到主干就发一版，技术文里给出的对照版本号是 3.0.46。49

写这篇公告的 Jennifer Li 是 a16z 基础设施团队的普通合伙人，负责数据系统、开发者工具与 AI 方向的投资。她的 a16z 作者页列出的董事会席位包括 ElevenLabs、fal、Mintlify、Mux、Pylon、Rasa、Reducto、Stainless、Stacker，观察员席位包括 Fivetran、Ideogram、Motherduck、NX、Vantage。12

这篇公告的出资本方就是作者所在的机构，署名的人本身就是这笔投资的经手人。a16z.news 这篇的文末只有一段通用免责声明，说明被提及的公司不构成投资建议、不代表其全部投资组合；公司自己那篇则直接把 1,600 万美元和领投方写进了正文。

这条新闻对读者的用处，落在三个判断上。

第一，这门生意里会过时的是题目，能长期卖的是一层防线。原文自己说，再好的环境也有保质期，模型练熟之后学习就停；Karotte 那张对照图卖的正是「默认就挡住」。

第二，这家公司开源的东西和卖的东西是两套。开源的 Karotte 是建环境的框架，好处是让更多人把环境建在它的习惯上，维护成本由社区分担；真正交付给实验室的环境仍然闭源，技术文里也写明它不直接接任何云算力厂商。

第三，可以跟三个锚点。Karotte 的版本节奏（技术文里写每次合并到主干就发一版）；这家公司什么时候公开第一个具名客户（现在两份文案都只写「若干前沿实验室」）；以及两家实验室的监控口径往哪边走（OpenAI 已经把监控开销约 20% 写进公告，Karotte 的默认防线里也有多项来自类似教训）。246

第一处是 1,600 万美元这个数字，它只出现在公司自己的开源公告和招聘页里，公开渠道暂未见媒体或投资方的独立确认，跟投名单中的研究者也尚未见到本人表态。第二处是官网那张四行成绩表，四行的模型、基线、题量条件都由公司自己设定，且写明是单次运行，把它当作这家公司能力的水位线比当作可比结果更稳妥。第三处是「100 万次评测运行」与「受控红队测试」这两句，同样出自公司口径，a16z 那篇转述了它，两处文案没有给出运行日志或红队记录。123