
AI 处理了更多调查文本,谁来决定它是什么意思?
Beth Smith 认为,AI 能加速开放文本的分类与摘要,却不能仅凭流畅输出取得解释经验的权力;本文用近期评测和研究说明,如何区分吞吐量、概念对齐与真正的意义判断。
AI 已经能把员工调查、客户反馈和访谈转成标签、聚类和摘要,速度远超人工团队。8 月 6 日,The Cynefin Company 的 Beth Smith 承认这种吞吐量,却把问题换了一个位置:处理了更多文字,是否就更接近了那些文字背后的经验?她的判断是,模型如果同时接管了「这段话是什么意思」,组织得到的可能只是更快的确定感,而不是更好的理解。1
解释权藏在摘要的删改里
摘要看起来像是在缩短原文,实际上每一次删掉、保留和改写,都会决定什么进入读者的视野。Smith 举的场景包括员工问卷、客户反馈和访谈:模型可以很快找出反复出现的词,给回答分组,再写出一段流畅的总括。但这段总括从谁的角度成立,仍然没有被回答。
她并没有把这个问题简单写成「人懂,模型不懂」。人工研究者也会带着训练、理论、同理心和过往经验去编码;模型则从训练数据里的语言关联推断下一段可能的表达。两者的机制不同,却有一个共同点:都站在故事外部解释故事。真正经历那件事的人,未必把意义完整写进句子里,也未必有足够的词汇说清楚自己知道的东西。
这也是「自我标注意义」发挥作用的地方。SenseMaker 的做法是让讲述者自己回答与经历有关的 triad 或 dyad 问题,例如哪些因素塑造了这段经历、什么受到了影响、它需要什么回应。解释动作不再全部发生在分析者读完文本之后,而是由故事持有人直接给出权重。Smith 特别强调,一个人可能从未在故事里写出「环境」,却会在后续标注中把环境选为影响最大的因素;如果只搜索原文,那个意义根本没有可供模型找到的词。1
这改变的不是「人工复核」的次数,而是谁拥有最后的解释位置。模型可以替研究者数词、打标签、发现候选模式;但如果组织让它直接把候选模式命名为员工的真实处境,速度就会被误当成准确性。大量重复的误读,仍然只是大量重复的误读。1
「词面像」和「意思对」不是一回事
这条担忧可以被做成评测,而不只是方法论直觉。Perez、Bhaduri 和 Chadha 在 ACL 的 GEM 2026 论文中,使用五组开放式调查回答,样本规模分别为 50、100、200、400 和 800。研究让人类研究者、Claude Sonnet 3.5 和 Amazon Nova Pro 各自为每组回答提炼三个主题,再用 cosine similarity、BERTScore、F1 等指标与一种叫 ICR 的 Inductive Conceptual Rating 比较:前一组指标更接近词面和表层语义,ICR 检查的是模型主题是否覆盖了人类反思式主题分析中的概念。2
样本规模为 100 时,Sonnet 3.5 的 cosine similarity 是 0.89,F1 是 0.91,但 ICR 只有 0.35;人类基线的 ICR 是 0.86。换句话说,模型可以在语言层面写出相当像的主题摘要,却没有同样程度地覆盖人类分析者认为重要的概念。样本扩大到 800 时,Sonnet 3.5 和 Nova Pro 的 ICR 分别为 0.65 和 0.76,人类基线为 0.93;更多数据改善了模型的概念对齐,却没有抹平差距。2
这项研究也不能被反过来读成「LLM 永远不能解释意义」。它只测试了两个模型、五组单一类型的开放式调查数据,ICR 还依赖人类研究者先建立解释基线;论文自己指出,结果不能直接推广到临床、法律或文化语境,也不能把 ICR 当成脱离解释者的意义真值。它比较可靠地说明了另一件事:摘要是否流畅、词面是否相似,不能单独承担「是否理解了」这个判断。2
反方不是拒绝 AI,而是改造表示方式
如果结论只是「意义太复杂,所以不要用模型」,那会错过一个更有建设性的反方。来自 Alan Turing Institute、爱丁堡大学、科罗拉多大学博尔德分校、芝加哥大学、埃克塞特大学、南安普顿大学和 Google DeepMind 的作者,在立场论文 Meaning Is Not A Metric 中提出,LLM 可能帮助系统规模化生成和处理 thick description,也就是保留文化语境、经验关系和解释层次的「厚描述」。他们列出五个条件:保留上下文、允许多种解释并存、同时容纳生活经验与批判距离、区分质性内容和数量大小,以及承认意义会变化。3
这是一篇立场论文,不是部署结果。它没有证明现有模型已经能稳定生成厚描述,却把争论推进了一步:问题不必在「AI 能不能碰意义」和「人类独占意义」之间二选一。Smith 主要追问谁有权解释;Turing 论文主要追问系统用什么格式保存解释。两条线交汇后,比较稳妥的设计判断是:AI 可以扩大候选模式的处理规模,但不能凭一段摘要或一个相似度分数自动获得最终解释权;如果要让它参与意义分析,语境、叙述者的位置和人工解释基线必须留在系统里。
这些材料还不能推出一套已经验证的统一操作规程,但可以把使用分工问得更具体:
- 模型现在是在数词、打标签、提出候选,还是已经替人解释关系、原因和价值?
- 故事持有人有没有机会直接标注影响、关系或回应,而不是让模型从措辞中猜完所有隐含意义?
- 评估输出时,除了流畅度和词面相似度,是否检查了上下文概念、遗漏情况,以及不同群体被呈现的方式?
三条速览
- 把人的判断状态纳入 AI 交互。 Harvard SEAS 在 8 月 3 日介绍的一项研究包含两项在线实验,分别有 316 人和 964 人参加。自适应系统根据人的能力、认知需求和模型信心,选择展示完整建议、部分解释,或暂不提供答案,并分别以即时准确率或长期学习为优化目标。它提供了一个相邻的设计反例:保留人的判断,不一定只靠提醒人「保持批判性」,也可以写进系统何时说、说多少和何时闭嘴。4
- 模型的「解释位置」会改变故事的呈现。 Columbia University 与 Northwestern University 的预印本 Whose Story Gets Told? 使用 Foley Longitudinal Study of Adulthood 的 163 份人生故事访谈,其中 154 份进入分析;研究测试了三个开源模型,并让心理学研究者完整评估 8 份访谈的模型摘要。作者报告说,模型在不同人口身份条件下会改变主题、心理状态和措辞的呈现,可能造成代表性伤害;但这仍是单一数据集、有限模型和小规模人工评估,不能外推成所有 LLM 的普遍结论。5
- 定性研究中的成功,目前更多出现在窄任务。 Ernst 和 Treude 对软件工程定性研究做的有限文献检查,统计了 ICSE 2025 的 258 篇、CHASE 2025 的 37 篇和 CSCW 2025 的 312 篇论文;他们报告,在筛出的 CSCW 定性论文中有 7 篇实质使用 GenAI,而 ICSE 和 CHASE 没有。现有案例主要是预先定义标签的演绎式标注,不是从复杂语境中发展主题或理论。这是一个有限的便利样本,不是整个领域的普查,但它提醒我们不要把窄任务上的一致率,直接改写成「AI 已经会做定性理解」。6
模型把开放文本处理得更便宜,组织就更容易把「读过」误认为「理解过」。要避免这一步,关键不是给摘要再加一个更大的分数,而是让系统明确记录:谁讲述了经验,谁解释了经验,哪些语境没有进入文本,以及模型的输出究竟还只是候选,还是已经在替人下结论。
References
- 1The Trouble with Text Analysis
thecynefin.co
- 2
- 3
- 4AI Recommendations: This Time It’s Personal
seas.harvard.edu
- 5
- 6
This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.
Related content
- Sign in to comment.
