Neodrop
Create
FeedDiscoverMy ChannelsAuto-publishJoin Our Discord
FeedDiscoverCreateMy Channels
5,179 名客服里,最低技能组每小时多解决 34%,最高技能组没有提升;出了它会的范围,用 AI 的人正确率低 19 个百分点
2026-10-30

5,179 名客服里,最低技能组每小时多解决 34%,最高技能组没有提升;出了它会的范围,用 AI 的人正确率低 19 个百分点

同一套 AI 交到经验不同的人手里,提升幅度随经验递减:5,179 名客服里最低技能组每小时多解决 34%,最高一组没有提升;任务出了 AI 会做的范围,用它的人正确率低 19 个百分点。

孙学与薄肌
孙学与薄肌@chinamusk
2026 年 10 月 8 日,邵艾伦的频道发布了一场与孙宇晨的对话,4 小时 22 分,剪成 39 章。1
第 25 分 03 秒那一章叫「AI 时代,年轻人的机会在哪里?」。他说,AI 会让所有东西变便宜,唯一值钱的是寿命,年轻就是财富。2
他举了数学:高中生拿着 AI 给的思路,能做出博士级的题。2
这句话里有一段能单独核对:同一套工具交到经验不同的人手里,谁提升得多。几组随机实验测过这件事,方向一致,经验越浅,增幅越大。

一家客服公司里的 5,179 人

一家《财富》500 强软件公司的客服部门,在 2020 年 11 月到 2021 年 2 月分批上线 AI 助手,涉及 5,179 名坐席;上线有先有后,研究者拿这个时间差做比较。3
指标是系统记录的每小时解决工单数;把坐席水平和入职时长算进模型后,这个数平均涨 13.8%,每小时多解决 0.30 个工单。3
按上线前绩效分五组,最低那组涨 34%;最高那组「没有任何提升」,点估计略低于零,95% 置信区间跨零。3
按任期分,入职不足一个月涨 46%,一年以上没有变化。3
更直观的对照:入职两个月、能用 AI 的人,追上了入职半年以上、用不上 AI 的人。3
这项研究只覆盖一家公司、一个客服岗位、2020–2021 年的工具;作者也分不清坐席是在学会,还是在照抄建议。3

写代码和写稿上,方向一样

三家公司把 GitHub Copilot 随机发给开发者,三项实验合起来 4,867 人;使用者每周完成的任务多 26.08%,标准误 10.3%。4
分组方向相同:任期短的多 27% 到 39%,任期长的多 8% 到 13%;初级多 21% 到 40%,高级多 7% 到 16%。4
作者说明,组间差异「通常不显著」,三项实验噪声都不小。4
写作任务更直接:453 名在职者每人写两篇,第一篇测底子,第二篇随机给不给 ChatGPT,用时少 40%、质量高 18%。5
第一篇得分低的人提升最大:两篇得分的相关性从 0.49 掉到 0.25;第一篇得分高的人主要省时间,质量停在原处。5
按自评「写作技能」分组,收益几乎是平的;按第一篇总分分组,差距才出来。起作用的是整体能力。5

出了它会做的范围,用它的人错得更多

758 名波士顿咨询公司(BCG)的顾问被随机分组。在 18 道落在能力范围内的题上,用 AI 的多完成 12.2%、快 25.1%、质量高 40% 以上;原本排名后半段的人提升 43%,前半段提升 17%。6
另一道题故意放在能力之外:要把表格里的数量和访谈里的细节拼起来,才能得出与 AI 相反的结论。6
不用 AI 的对照组答对 84.5%,两个用 AI 的组答对 60% 与 70.6%,平均低 19 个百分点。6
答错时,AI 组用时更短,外部评审给的评分还高过对照组:答案顺不顺,与对不对,是两件事。6

老手在自己最熟的地方被拖慢

16 名资深开发者,在平均待了 5 年、有 1,500 次提交的仓库里做了 246 个真实任务,每个任务随机决定能不能用 AI。7
开工前预计省 24% 时间,做完觉得省了 20%,实测多花 19%,95% 区间从慢 2% 到慢 39%。7
多花的时间在写提示、等生成、逐行读代码;Cursor 给出的代码被采纳的不到 44%。7
2026 年 2 月同一批作者重做:第一次 16 人里 10 人回来重测,这次快了 18%;新招的快 4%。作者说重做有严重的选择效应,两次的结果都只能算参考。8

「年轻人有机会」这句的另一半

Pew 2026 年 6 月发布的调查里,5,119 名美国成年人中 49% 用过聊天机器人,18–29 岁 61%,65 岁以上 19%。9
问到「用于工作」,18–29 岁 41%,30–49 岁 43%:9用得早,与用得深,是两件事。
英国 2023 年一项预注册实验让 1,041 人做文本任务:35 岁以下从 ChatGPT 得到的好处,比 51 岁以上多 0.3 到 0.7 分(满分 5 分);不用 AI 时,两代人的得分差不多。10
招聘这一端是另一件事。ADP 350 万到 500 万人的工资单里,22–25 岁在高暴露职业的就业比 2022 年 11 月低约 11%,低暴露职业同期高约 10%;作者把这个落差写成「比同步增长低 19%」。11
作者写明这只是描述性事实,尚未做因果估计。11 瑞典在同一雇主内比较,同年龄段到 2025 年初降 5.5%、50 岁以上升 1.3%;芬兰同样设计是零。12

这套证据到哪儿为止

样本几乎都在坐办公室、任务拆得开、结果打得分的岗位上:客服、咨询、编程、写作。
分组口径是上线前绩效或任期;数字都是组平均,组内还有很大一块没被拆开。实验用的工具从 2020 年到 2025 年都有,版本换得很快。

三问

第一问:这件事的对错,我能在十分钟里验一遍吗?能,AI 的答案可以当草稿;不能,就把它当一份写得很顺的意见。
第二问:这次的提升,是我变强了,还是它替我做完了?土耳其近 1,000 名高中生做过对照:直接给 GPT-4 的一组,练习时高 48%,撤走后闭卷考低 17%,学生自己觉得学得不错。13
第三问:我上一次在它的答案里挑出错,是什么时候?五个实验、3,132 人(预印本)里,AI 建议在手边时,肯说「不知道」的人从 44% 掉到 3%,答对率从 27.5% 掉到 9.2%,信心从 29.6 涨到 75.9。14

今天能做的一步

挑一件今天要做、有对错的事:算一笔账、查一条政策、核对一段代码或邮件里的数字。
先自己写下答案,再让 AI 做一遍,两份并排。
只采纳你能说出理由的改动;说不出理由的那条标出来,去查原始出处。
回到开头那一章:这些实验支持「经验浅的人更容易拿到增幅」;增幅落在能验证的任务上,落到它不会的地方就翻成错误。

名词

  • 标准误:估计值自己会晃动的幅度;10.3% 意味着 26% 上下还能差十来个点。
  • 置信区间:由标准误算出的范围,真值大概率落在里面;跨过 0 就说不出方向。
  • 高暴露职业:按任务内容评估,被 AI 覆盖得最多的一类工作。

References

  1. 1
    对话孙宇晨:年轻人如何抓住AI时代的机会?

    youtube.com

  2. 2
    孙宇晨最新访谈:孙学、薄肌、黄毛,与 AI 时代的认知升级

    me.news

  3. 3
    Generative AI at Work(NBER WP 31161)

    nber.org

  4. 4
    The Effects of Generative AI on High-Skilled Work

    mertdemirer.com

  5. 5
    Experimental evidence on the productivity effects of generative AI(Science 2023)

    science.org

  6. 6
    Navigating the Jagged Technological Frontier(Organization Science 2026)

    hbs.edu

  7. 7
    Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity

    arxiv.org

  8. 8
    METR:AI 生产力实验的后续更新

    metr.org

  9. 9
    How opinions and use of AI differ by age(Pew Research Center)

    pewresearch.org

  10. 10
    No Great Equalizer(SSRN 工作稿)

    eprints.bbk.ac.uk

  11. 11
    Canaries in the Coal Mine(Stanford Digital Economy Lab,2026 年 8 月修订)

    digitaleconomy.stanford.edu

  12. 12
    Same Storm, Different Boats(Örebro University WP 2/2026)

    oru.se

  13. 13
    Generative AI Can Harm Learning(PNAS 2025)

    pnas.org

  14. 14
    Having AI advice available reduces judgment suspension(arXiv 预印本)

    arxiv.org

孙学与薄肌
孙学与薄肌@chinamusk

This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.

Related content

  • 一家客服公司里的 5,179 人
  • 写代码和写稿上,方向一样
  • 出了它会做的范围,用它的人错得更多
  • 老手在自己最熟的地方被拖慢
  • 「年轻人有机会」这句的另一半
  • 这套证据到哪儿为止
  • 三问
  • 今天能做的一步
  • 名词