把 AI 用明白｜经验分享 09：链接是真的，话不一定
上个月你要确认一件小事：公司现在到底要不要在报销前填那张审批表。
0:00 / 6:33
把 AI 用明白｜经验分享 09：链接是真的，话不一定
你问它一件事。它回了一大段，末尾挂着三条链接。三条你都点开了：页面都在，日期也新，看着都正经。可没有一条写着它说的那句话。
这一期讲的就是这道缝。链接是真的，为什么仍然可能撑不住它旁边那句话；人工审计测出来的比例是多少；厂商自己把这件事说到了哪一步；以及今天就能做完的四个动作。
这期会听到什么
- 二〇二三年，四个主流的带引用回答产品被逐句人工评测：平均只有 51.5% 的生成句子被引用完全支持，只有 74.5% 的引用真正支持它对应的那句话。1
- 换了几代模型，同一个问题还在：二〇二四年三个产品的引用准确率分别是 68.3%、65.8%、49.0%，完全没有来源支撑的句子占 23.1%–31.6%。2
- 二〇二六年，七十六万对引用的审计里，30.6% 扭曲了来源原意，27.1% 引的是与问题不相称的来源。3
- 三层对不上：链接存在、链接打得开、正文读得到。二〇二六年的两次测量分别给出 3%–13% 的"幻造地址"和只有 72.9% 的被引网址能抓到正文。45
- 把"打开被引来源、确认它是否支持该答案"写得最具体的一家官方页面，是 OpenAI 的帮助中心。6
- 另一边：出现 AI 摘要时，摘要里那几条来源被点开的比例是 1%。7
一句话是它写的，链接是它点的
我们先入为主地把引用当成剪贴：像论文那样，读一段原文，把那段贴到句子后面。
带引用的回答里不是这样。句子是它生成的，引用是生成时顺手点上的一个标记，两者在输出里才被接起来。
接口文档把这个顺序写得很清楚。一家搜索接口的提示词里，指令是给每一句来自工具结果的话在句末加引用——这是格式要求，不是复制。8 另一家的联网搜索里，每条引用带一小段被引内容，字段上限 150 个字符，文档没有说明这段是否逐字；同一页里还给了
page_age，含义是站点最后更新时间，不是它抓取的时间。9所以"链接存在"和"这条句子被支持"是两件事。中间那根线，是模型牵的。
人工标注出来的那道缝
二〇二三年，几位研究者（Nelson Liu、Tianyi Zhang、Percy Liang）把当时四个主流的生成式搜索产品全测了一遍：Bing Chat、NeevaAI、Perplexity、YouChat。每个系统 1450 条 query，句子与引用逐条人工标注，判定分三级：完全支持、部分支持、完全不支持。1
平均下来，只有 51.5% 的生成句子被引用完全支持，只有 74.5% 的引用支持它对应的那句话。四个产品差异很大：Perplexity 的引用召回 68.7%、NeevaAI 67.6%、Bing Chat 58.7%、YouChat 只有 11.1%；引用精确率则是 Bing Chat 最高（89.5%）、Perplexity 72.7%、NeevaAI 72.0%、YouChat 63.6%。1
有一个细节值得记住：在那份数据里，四个系统之间，引用精确率与用户感知的有用性几乎是负相关（r = −0.96）。引得最准的那个，用户反而觉得最没用。1
他们对"不支持"的定义包括：被引网页跟这句话毫无关系，甚至说的正好相反。1
同一年另一篇工作把引用质量拆成两个自动指标：引用召回看这句话是否被所引段落完全支持，引用精确率看这条引用是不是多余或不相关；在这套指标上，最好的模型在 ELI5 上也有大约一半的陈述没有被引用完整支持，而用摘要压缩提升答案正确性，代价正是引用质量。12
后来的几代模型，也没有把缝合上
二〇二四年，另一个团队换了批问题复测三个引擎（You.com、Bing Chat、Perplexity）：303 条 query × 3 个引擎，共 909 条回答。引用准确率分别是 68.3%、65.8%、49.0%，完全没有来源支撑的句子占 30.8%、23.1%、31.6%。这组数字由大模型判官自动打分，与人工标注的相关系数为 0.62。2
这篇把两种失效分开了，后者更难发现：一种是没有来源能支持这句话；另一种是明明有来源能支持，引擎却引了另一条错的。2 它还记录了一个实际的麻烦：约 15% 的被引网址连抓取工具都打不开正文，作者把这些来源从需要看全文的指标里剔除，并注明用户大概也打不开。2
二〇二六年，有人把引用链整条拆开：11,200 条 query、10 个模型、761,495 对引用。30.6% 的引用扭曲了来源内容（保真失败），27.1% 引的是与问题不相称的来源（来源适配失败，例如该用官方或研究来源却引了博客），5.1% 是提问意图与实际用途不匹配；在单个回答层面，至少撞见一条结构性误导引用的比例从 71.3% 到 96.1%。3
还有更底层的一层：链接本身。二〇二六年的另一项测量显示，商业模型给出的引用地址里 3%–13% 在 Wayback Machine 里从来没有记录，5%–18% 直接打不开，深度研究类 agent 引得更密、幻造比例也更高。4 同一年对四个产品、2,848 条回答、26,266 条被引网址的审计里，只有 72.9% 能抓到正文；在成功抓到正文的来源中，约 16%（N=3,056）被判为 AI 生成。5
这里必须说清边界：三组数字出自三个团队，指标名和标注流程都不一样，不能相加，也不能据此断言"三年里退步了"。现有材料里没有同一口径的跨年复测。能说的是，这几份独立的测量指向同一件事：那道缝没有合上。16% 那个数字也要留余地，检测用的是一个工具，作者自己说结果只是下限。5
官方把话说到哪一步
翻完几家的帮助页和接口文档，能看到一条清晰的梯度。6
说得最直接的是 OpenAI 的帮助中心：搜索结果与引用可能不完整、过期或错误；打开被引用的来源，确认它是否支持这个答案；看一下它是何时发布或更新的；涉及准确性时使用权威来源。6
Anthropic 的角度不同，它讲的是"综合"这一步：使用联网结果时应当复核被引来源，因为原网站可能有它在综合时没有包含的上下文或细节。13
Google 在产品文档里写的是降级条件：接地元数据可能不提供，原因包括来源相关性低，或回答本身信息不完整。14 Perplexity 承认的是链接层面：让模型在 JSON 里自己写链接，可能产生幻觉或断链，正确做法是取接口返回的引用字段。8
Microsoft 的说法最温和：接地能提高准确率并给出可核对的引用，但仍然应当复核来源、确认关键细节。15
我们翻到的这几家帮助中心与开发者文档里，没有一页给出引用准确率的数字，也没有一页承认过"某条引用不支持该句"的具体个案。这是这一期能说的边界：它们承认可能出错，但没有一处给出出错的概率。
另一边：我们几乎不点开
二〇二五年三月，Pew Research Center 用 900 名美国成年人的浏览器记录看了 68,879 次 Google 搜索：遇到 AI 摘要的访问里，只有 8% 点开了普通搜索结果，没有摘要时是 15%；而摘要里那几条被引来源，被点开的比例是 1%。7
二〇二六年一项预注册随机对照实验（N=1,100）给出了方向一致的因果证据：把整页搜索换成对话式的 AI Mode，跳到外部网站的点击率下降 18.8 个百分点；把 AI 摘要连同 AI Mode 入口一起关掉，外部点击率上升 8.8 个百分点（研究期内只有 51.1% 的 AI 摘要被成功隐藏，作者报告的是按实际隐藏比例折算的效应）。16
实验室里也一样：9 个对话式产品、1,517 条引用、12 名被试，悬停与点击率在所有系统上都低于 25%，最高的是 ChatGPT，约 22% 悬停、约 12% 点击。样本小，作者自己说这是初步结果。17
这些研究测的都是点击，不是判断：我们查到的工作里，没有一项直接测过"点开引用之后，人的结论会不会变"。所以我不会用它推出"AI 让人变懒"。能确定的是：一边是三成上下的引用对不上，一边是我们几乎不再点开。两件事单独看都能忍，叠在一起才是那道缝。
今天就能做完的四个动作
- 点开那一条，往下读到那句话。 不是看标题像不像，是找它引用的那句话；找到了，才算核过。
- 关键的数字、日期、名字，去找一手。 官方文档、原始发布、法规原文。如果它引的是二手转述，至少翻到转述背后的那一页。
- 别指望一句"把原句抄给我"就能拿到原句。 有的产品只返回网址、标题和位置，有的最多给 150 个字符的片段。更可靠的做法是拿它给的关键词，回原页面里自己搜一遍。
- 对"没有规定""我没查到"这类结论，不要用引用来验收。 引用只能证明有，不能证明没有；这类结论要么自己搜一遍，要么先别用。
顺手还有一件小事：让它报发布日期。Microsoft 的帮助页就教用户这么问——确认发布日期，并展示具体章节。15
回到开头那三条链接：它们都是真的。出问题的地方是，把三句话和三条链接接在一起的，是它，不是你。
References
- 1
- 2
- 3
- 4
- 5
- 6Searching the web with ChatGPT（OpenAI Help Center）
help.openai.com
- 7
- 8Output Control（Perplexity）
docs.perplexity.ai
- 9Web search tool（Claude Platform Docs）
platform.claude.com
- 10Grounding with Google Search（Gemini API）
ai.google.dev
- 11Web search（OpenAI API）
platform.openai.com
- 12
- 13
- 14Grounding with Google Search（Google Cloud）
docs.cloud.google.com
- 15What information does Copilot use to answer my prompt?（Microsoft Support）
support.microsoft.com
- 16
- 17
This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.