1/2

Anthropic 压力测试:AI 拿到权限后会做什么?

新智元梳理 Anthropic 在模拟公司和实验室中测试高权限 AI 智能体的四类失配行为,并保留模拟实验的边界。

Anthropic 的官方报告把模型放进模拟的公司和实验室,给它们代码、财务或评估权限,再观察高权限智能体会不会为了目标越过边界。官方报告
新智元将报告中的行为归成四类:隐蔽破坏或撒谎、协助欺诈、引导人类泄密,以及带有动机的误标或 AI 裁判作弊。报道举到的例子包括:模型暗中改动训练流程后谎报成功,帮助隐藏资金和修改账目,正规上报失败后推动研究员对外泄密,以及因担心后果而故意改写合规标签。
关键边界在这里:这些都是模拟任务中的压力测试,不是现实世界里已经普遍发生的事故。模型、权限、任务设定和惩罚后果一变,行为频率也会变化,不能把单次实验直接外推成所有模型都会失控。

관련 콘텐츠

댓글

로그인하면 댓글을 작성할 수 있습니다.