心理健康 AI 的安全评测，不能只看一个平均分
Stanford 研究发现，心理健康 AI 的专家安全评分可能存在结构性分歧；真正需要追踪的不是一个平均分，而是谁的判断、分歧有多大，以及何时升级人工。
一个平均分，可能没有人真正认可
7 月 13 日，Stanford HAI 介绍了一项刚被 ACM FAccT 2026 接收的研究：三位持证精神科医生评估 360 条由四个大语言模型生成的心理健康回复，彼此却经常无法同意哪条回复更安全、更正确、更有共情。研究团队随后在美国精神病学会年会上邀请 100 多位精神科医生现场评分，分歧仍然存在，安全、共情和正确性几乎都出现了近乎平分的意见。1
这件事的重点不是「专家也会打分不同」。在心理健康这种高风险场景里，开发者通常会把专家评分当作安全训练和模型评测的依据，再用平均值把它压成一个看似客观的标签。那项研究真正动摇的，是这一步：如果分歧来自不同的临床目标，平均值就不一定更接近真值，可能只是把冲突藏起来。
分歧不是随机噪声
论文中的 360 条回复来自 GPT-5、Claude 4 Sonnet、Grok-4 和 Llama 3.2，每个模型生成 90 条。三位专家先参加了 90 分钟的校准，再对每条回复的八个维度独立评分，包括潜在伤害的严重程度和可能性，以及正确性、相关性、主动倾听、共情与验证、边界声明、行动建议等。总共留下 8,640 个评分。2
结果不只是「有点不一致」。单个评估者之间的 ICC 介于 0.087 和 0.295，整体 pooled ICC 为 0.269，低于研究引用的最低可接受水平。边界与伦理免责声明这一维度的 Krippendorff α 是 -0.203；负值表示结构化分歧已经强到不能当作普通测量误差处理。2
更麻烦的是，分歧最大的一批回复，正是风险最高的那批。研究按平均绝对偏差计算，涉及「强化幻觉」的回复为 0.602，支持自杀想法为 0.598，支持非自杀性自伤为 0.566，附和妄想为 0.564。也就是说，最需要一致判断的地方，恰好最难得到一致判断。2
三位专家其实在回答不同的问题
研究者在访谈中发现，三位专家并非没有理解量表，而是带着不同的临床框架看同一条回复。
一位专家把「避免直接伤害」放在首位，只要回复没有把用户推向更危险的行为，就可能给出较高评价。另一位更看重治疗参与：冷淡、模板化、只会转介的回复虽然谨慎，却可能让用户停止求助。第三位则更强调文化和发展背景，以及系统是否明确承认自己是 AI、不是专业治疗者。三种判断都能在临床实践中自洽，但它们对「一条安全回复应该做到什么程度」的答案不同。2
「边界与伦理免责声明」这一项把冲突暴露得最清楚：一位专家认为不自称治疗师、建议寻求专业帮助就够了；另一位要求明确说明 AI 身份和能力限制。把两人的分数平均，得到的不是一个更完整的边界标准，而是一个没有明确临床立场的中间值。Stanford HAI 对研究的概括很直接：当专家不认可同一个目标时，增加人数和平均分都可能把模型推向「没人真正理想的答案」。1
这也解释了为什么单轮文本评测特别脆弱。精神健康结果会在一段时间后出现，同一句话对不同用户可能有不同作用；评估者却只能看到一段脱离病史、关系和后续行为的文字。这里缺的不是一个更精细的 1 到 5 分刻度，而是一个能够把时间、上下文和临床目标带回来的评测对象。2
安全评测需要留下「谁的判断」
这项研究并没有证明心理健康 AI 不可用，也没有证明专家永远无法达成共识。它只在一个很具体、但很重要的场景里说明：把人类反馈当作稳定真值之前，必须先检查专家是否真的在判断同一件事。
对开发者来说，第一步不是把平均分做得更漂亮，而是报告分歧本身：哪些维度一致性足够高，哪些维度的评分方向经常分开。第二步是把采用的临床框架写出来。安全优先的工具、鼓励持续求助的工具和面向不同文化群体的工具，不应默认使用同一套隐含标准。第三步是把高分歧当成升级信号，尤其是自杀、自伤、精神病性内容和边界设定，而不是把它当成一个可以被均值抹平的异常值。论文建议保留带框架标签的评分分布，在需要时把不同框架交给不同使用场景。2
这项工作的证据仍然有限：只有三名专家，且都在美国机构受训；量表是新设计的；研究只看四个模型生成的合成单轮回复，不能直接推出真实用户的长期结果，也没有测量同一专家重复评分时是否稳定。论文是 2026 年 5 月的 arXiv 版本，虽然标注为 FAccT 2026 论文，结论仍应按单项研究来读。2
但它已经给了一个实用的阅读习惯：看到一个 AI 安全分数时，先问它采用了谁的框架，专家分歧有多大，以及什么情况会触发人工升级。平均值可以告诉你分数落在哪里，却不会告诉你模型正在服务哪一种「安全」。
两条速览
- AI 说服专业人类，靠的可能是信息带宽。 一项包含四个预注册实验的研究，让 AI 与普通人、比赛赢家、专业游说者和世界级辩手对话。18,978 次对话、6,923 名参与者中，AI 的说服力稳定超过专家；在一项真实捐款实验里，AI 几乎是英国专业募款人员的 3 倍有效。研究还发现，当 AI 被限制到人类的文字长度和响应速度后，人类可以追平它。这里的增量更像是快速投放更多事实，而不是突然获得了神秘的社会理解。3
- Grok 目前更像社交平台的第一轮核验入口。 对 169,137 条在 X 上调用 Grok 的帖子分析显示，76.8% 的用户只调用过一次；这些互动通常早于 Community Notes，却没有预测后续纠错活动。研究把 AI 描述为一种快速、浅层的补充性 sensemaking，而非群体事实核查的替代品。它提示的问题和心理健康评测相似：模型未必要取代原有判断系统，只要先占据第一轮解释的位置，就已经改变了人们接下来看到什么、相信什么。4
関連コンテンツ
- ログインするとコメントできます。