大阪大学的 Yuhao Fu 和 Nobuyuki Hanaki 在 8 月 2 日发布的一项实验研究中,让大学生判断日文新闻中有多少内容由人类写成,再分别参考 GPT-4、同伴或语言专家的建议。主实验的 87 名参与者里,ChatGPT 建议的平均权重(Weight of Advice)为 0.592,同伴建议为 0.326;在追加实验中,语言专家的权重又高于 ChatGPT。2
这组结果不能被简化成「人更相信机器」。ChatGPT 的建议在主实验中略准一些,性能改善主要发生在建议质量足够高的时候;来源权重和建议质量是两件事。人可以给 AI 更高权重,也可能因此得到更好答案,但这不等于这种权重在下一个任务里仍然合理。研究来自实验室、参与者是日本大学生,实验跨越 2023—2025 年,作者也提醒不同时间点的差异可能混入了人们对 AI 看法的变化。2