201 人换书：谈得成，输在不懂你

9 月 24 日，Anthropic 公开了一份用自家员工做的实验：201 名员工各带一本想送出去的书，让 Claude 替他们进场去谈 1。它要回答的不是「agent 会不会谈判」，而是当代理人不知道怎么替你做决定时，市场会怎么走。

它先给每个人配了一把可比的尺子。 每人与 Claude 聊一次天，中位数 216 个词、8 条消息；Claude 据此排出全池书店的完整顺序，之后一直照着它谈。本人另外自己排一份，作为评分用的「真值」，代理人从没见过 1。得分＝你拿到的书排在自己名单的第几位：拿到第一名得 1，拿到最后一名得 0，全场平均就是这场市场的效率。

两个数之间隔着 0.34。 官方给的「最好分配」是 0.89——因为热门书会被多人抢（旧金山有 9 个人把《Project Hail Mary》排第一），人人拿到第一并不可能 1。实际结果是 0.55，约合本人名单上的第 5 名。切开这 0.34 的办法很干净：把「按 Claude 的排序算出的最好分配」拿去用本人的名单评分，得到 0.60。这一步只换了排序，没有换市场 1。

所以缺口的大头不在市场设计。 官方逐字写的是：从 Claude 那份不精确的排序出发，解释了「大多数（85%）」的缺口，把代理放进一个「自由混战」的交易台只占剩下的 15% 1。同一段还有一句更直接的：市场一旦建立在有噪声的排序上，市场设计对结果几乎没有影响——用同一份 Claude 排序算出来的 Top Trading Cycles 也是 0.60，和去中心化市场的 0.55 差不多 1。这里要说明一处口径：官方没有写出 0.34 这个分母，它由 0.89 减 0.55 得到；「市场设计只占 15%」也是从这组数字推出来的说法，不是原文的提法。

另一条结论容易被读成另一个意思。 「更强的模型更有效率」这句话算在 Claude 自己的排序上：Haiku 面 0.75、Sonnet 0.80、Opus 0.88、Fable 0.86，同一把尺子上的最优是 0.95；从 Haiku 升到 Opus，人往上走 0.12，而「狠一点」与「顾着大家」两段指令之间只差 0.02 1。但换成本人自己的排序，同一组模型差只剩 0.01——官方自己解释过原因：所有场次都从同一份 Claude 排序出发，模型和指令只能影响谈判那一步，缺口剩下的部分属于「Claude 对人偏好的理解」，那是所有设计共用的 2。

唯一直接量「懂不懂你」的数字是 61%。 在一个人排过序的书的所有两两组合里，Claude 的顺序与本人一致的比例是 61%，随机猜是 50% 1。它跟模型走一点点（Fable 61%、Opus 60%、Sonnet 59%、Haiku 57%），跟访谈长度走得更多：入场访谈的篇幅翻倍，一致率多 4.1 个百分点，p<0.01 2。换句话说，换模型改的是后半段，把访谈聊长改的才是前半段。

边界要和结论一起读。 官方自己列了四条：参与者是自家员工，可能比一般人更愿意信任 Claude；没有为认真排序付任何报酬，最终问卷只有 59% 的人回答；所有代理都是自家的合作型模型，没有对手方；去中心化那一侧的规则从头到尾没有变过 1。另有一句自嘲式的坦白：书有人没带来，也没有借还登记，「我们是忙研究员，不是全职图书管理员」，于是「The stakes were low here」 2。还缺的是外部证据——到核验时点，没有第三方独立复核或复算，没有主流媒体的一手报道，Anthropic 官方 X 账号没有发布这个项目，HN 上也没有可报告的提交记录 1；检索里唯一带保留意见的第三方评论说的也是同一件事：公司自述仍只是公司自述。

把它用在自己身上，顺序是清楚的。 要把 agent 派去替人交易，先验收它对当事人偏好的理解：让它把「它以为你要什么」写成一份可看的排序，再自己拿本人想法对一遍；提高准确率的招是把入场访谈聊长；市场机制的选型可以放到最后，因为在有噪声的排序之下，它换不来差别。这次实验里，市场设计值 0.05。

反证与更早的工作也值得放在一起看。 Budish 与 Kessler 在 2016 年就写过「参与者报不准自己的偏好会实质伤害机制表现」，结论方向与这次一致，早于它约十年 3；而把风险重点放在谈判与交易环节的一篇 2025 年基准论文，与这份「谈得不错」的结论侧重并不相同 4。另外，官方脚注自己承认这次用的是两段固定的指令文本；有研究让参与者自己写指令，发现自定义指令能解释结果差异的一大部分 5。