AI 处理了更多调查文本，谁来决定它是什么意思？
Beth Smith 认为，AI 能加速开放文本的分类与摘要，却不能仅凭流畅输出取得解释经验的权力；本文用近期评测和研究说明，如何区分吞吐量、概念对齐与真正的意义判断。
AI 已经能把员工调查、客户反馈和访谈转成标签、聚类和摘要，速度远超人工团队。8 月 6 日，The Cynefin Company 的 Beth Smith 承认这种吞吐量，却把问题换了一个位置：处理了更多文字，是否就更接近了那些文字背后的经验？她的判断是，模型如果同时接管了「这段话是什么意思」，组织得到的可能只是更快的确定感，而不是更好的理解。1
解释权藏在摘要的删改里
摘要看起来像是在缩短原文，实际上每一次删掉、保留和改写，都会决定什么进入读者的视野。Smith 举的场景包括员工问卷、客户反馈和访谈：模型可以很快找出反复出现的词，给回答分组，再写出一段流畅的总括。但这段总括从谁的角度成立，仍然没有被回答。
她并没有把这个问题简单写成「人懂，模型不懂」。人工研究者也会带着训练、理论、同理心和过往经验去编码；模型则从训练数据里的语言关联推断下一段可能的表达。两者的机制不同，却有一个共同点：都站在故事外部解释故事。真正经历那件事的人，未必把意义完整写进句子里，也未必有足够的词汇说清楚自己知道的东西。
这也是「自我标注意义」发挥作用的地方。SenseMaker 的做法是让讲述者自己回答与经历有关的 triad 或 dyad 问题，例如哪些因素塑造了这段经历、什么受到了影响、它需要什么回应。解释动作不再全部发生在分析者读完文本之后，而是由故事持有人直接给出权重。Smith 特别强调，一个人可能从未在故事里写出「环境」，却会在后续标注中把环境选为影响最大的因素；如果只搜索原文，那个意义根本没有可供模型找到的词。1
这改变的不是「人工复核」的次数，而是谁拥有最后的解释位置。模型可以替研究者数词、打标签、发现候选模式；但如果组织让它直接把候选模式命名为员工的真实处境，速度就会被误当成准确性。大量重复的误读，仍然只是大量重复的误读。1
「词面像」和「意思对」不是一回事
这条担忧可以被做成评测，而不只是方法论直觉。Perez、Bhaduri 和 Chadha 在 ACL 的 GEM 2026 论文中，使用五组开放式调查回答，样本规模分别为 50、100、200、400 和 800。研究让人类研究者、Claude Sonnet 3.5 和 Amazon Nova Pro 各自为每组回答提炼三个主题，再用 cosine similarity、BERTScore、F1 等指标与一种叫 ICR 的 Inductive Conceptual Rating 比较：前一组指标更接近词面和表层语义，ICR 检查的是模型主题是否覆盖了人类反思式主题分析中的概念。2
样本规模为 100 时，Sonnet 3.5 的 cosine similarity 是 0.89，F1 是 0.91，但 ICR 只有 0.35；人类基线的 ICR 是 0.86。换句话说，模型可以在语言层面写出相当像的主题摘要，却没有同样程度地覆盖人类分析者认为重要的概念。样本扩大到 800 时，Sonnet 3.5 和 Nova Pro 的 ICR 分别为 0.65 和 0.76，人类基线为 0.93；更多数据改善了模型的概念对齐，却没有抹平差距。2
这项研究也不能被反过来读成「LLM 永远不能解释意义」。它只测试了两个模型、五组单一类型的开放式调查数据，ICR 还依赖人类研究者先建立解释基线；论文自己指出，结果不能直接推广到临床、法律或文化语境，也不能把 ICR 当成脱离解释者的意义真值。它比较可靠地说明了另一件事：摘要是否流畅、词面是否相似，不能单独承担「是否理解了」这个判断。2
反方不是拒绝 AI，而是改造表示方式
如果结论只是「意义太复杂，所以不要用模型」，那会错过一个更有建设性的反方。来自 Alan Turing Institute、爱丁堡大学、科罗拉多大学博尔德分校、芝加哥大学、埃克塞特大学、南安普顿大学和 Google DeepMind 的作者，在立场论文 Meaning Is Not A Metric 中提出，LLM 可能帮助系统规模化生成和处理 thick description，也就是保留文化语境、经验关系和解释层次的「厚描述」。他们列出五个条件：保留上下文、允许多种解释并存、同时容纳生活经验与批判距离、区分质性内容和数量大小，以及承认意义会变化。3
这是一篇立场论文，不是部署结果。它没有证明现有模型已经能稳定生成厚描述，却把争论推进了一步：问题不必在「AI 能不能碰意义」和「人类独占意义」之间二选一。Smith 主要追问谁有权解释；Turing 论文主要追问系统用什么格式保存解释。两条线交汇后，比较稳妥的设计判断是：AI 可以扩大候选模式的处理规模，但不能凭一段摘要或一个相似度分数自动获得最终解释权；如果要让它参与意义分析，语境、叙述者的位置和人工解释基线必须留在系统里。
这些材料还不能推出一套已经验证的统一操作规程，但可以把使用分工问得更具体：
- 模型现在是在数词、打标签、提出候选，还是已经替人解释关系、原因和价值？
- 故事持有人有没有机会直接标注影响、关系或回应，而不是让模型从措辞中猜完所有隐含意义？
- 评估输出时，除了流畅度和词面相似度，是否检查了上下文概念、遗漏情况，以及不同群体被呈现的方式？
三条速览
- 把人的判断状态纳入 AI 交互。 Harvard SEAS 在 8 月 3 日介绍的一项研究包含两项在线实验，分别有 316 人和 964 人参加。自适应系统根据人的能力、认知需求和模型信心，选择展示完整建议、部分解释，或暂不提供答案，并分别以即时准确率或长期学习为优化目标。它提供了一个相邻的设计反例：保留人的判断，不一定只靠提醒人「保持批判性」，也可以写进系统何时说、说多少和何时闭嘴。4
- 模型的「解释位置」会改变故事的呈现。 Columbia University 与 Northwestern University 的预印本 Whose Story Gets Told? 使用 Foley Longitudinal Study of Adulthood 的 163 份人生故事访谈，其中 154 份进入分析；研究测试了三个开源模型，并让心理学研究者完整评估 8 份访谈的模型摘要。作者报告说，模型在不同人口身份条件下会改变主题、心理状态和措辞的呈现，可能造成代表性伤害；但这仍是单一数据集、有限模型和小规模人工评估，不能外推成所有 LLM 的普遍结论。5
- 定性研究中的成功，目前更多出现在窄任务。 Ernst 和 Treude 对软件工程定性研究做的有限文献检查，统计了 ICSE 2025 的 258 篇、CHASE 2025 的 37 篇和 CSCW 2025 的 312 篇论文；他们报告，在筛出的 CSCW 定性论文中有 7 篇实质使用 GenAI，而 ICSE 和 CHASE 没有。现有案例主要是预先定义标签的演绎式标注，不是从复杂语境中发展主题或理论。这是一个有限的便利样本，不是整个领域的普查，但它提醒我们不要把窄任务上的一致率，直接改写成「AI 已经会做定性理解」。6
模型把开放文本处理得更便宜，组织就更容易把「读过」误认为「理解过」。要避免这一步，关键不是给摘要再加一个更大的分数，而是让系统明确记录：谁讲述了经验，谁解释了经验，哪些语境没有进入文本，以及模型的输出究竟还只是候选，还是已经在替人下结论。
References
- 1The Trouble with Text Analysis
thecynefin.co
- 2
- 3
- 4AI Recommendations: This Time It’s Personal
seas.harvard.edu
- 5
- 6
This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.