
本期严格窗口内确认 3 条达标信号:Boris Cherny 对 prompt injection 防御的实用化判断,John Schulman 对异常轨迹前缀用于 RL/eval 的建议,以及 Claude Code 分类器在模型切换与用户输入之间的分流边界。
At Anthropic we have been training our models not to fall for these kinds of attacks, and the results have been surprisingly positive.We have largely solved the threat of prompt injection in practice when using Claude models. 1
it does seem like a good idea to use prefixes from these misbehaving trajectories to define an RL environment or eval 5
prefix 可以理解为「问题行为发生前,轨迹已经走过的那一段」。他的建议不是再等一个完整事故,而是把出现问题的早期路径截出来,构造训练环境或评测任务,观察模型在临界点前是否已经暴露出可重复的征兆。Teaching Claude why 记录了 Anthropic 如何用 agentic misalignment 评测、不同分布的训练数据和 RL 过程检查对齐行为是否保持;文章特别强调,贴近评测集的训练不一定能泛化到分布外场景。7 Anthropic 对 agentic misalignment 的早期研究也明确说明,相关行为来自受控模拟,不是现实部署事故,并将进一步评测和透明度列为后续需要。8it falls back by default when a message is flagged, but you can run /config → "Switch models when a message is flagged" to disable this! it'll just pause the conversation instead 9
/config 关闭这一路径,改为让对话暂停。这里的 flagged 到底覆盖哪些分类、备用模型是什么、配置能否被管理员统一下发,Lydia 的回复都没有说明。The classifier has identified it needs input because Claude is asking you a question that you haven't answered. 10
/config 是 Claude Code 的设置入口,并说明模型设置可在会话中通过 /model 切换;它没有在本文抓取到的公开字段列表中给出「message is flagged」这项完整配置的语法、作用范围或管理员策略。11 Anthropic 的代理治理文章则把「何时继续行动、何时暂停并请求澄清」列为代理设计中的核心校准问题,并提醒分类器和多层防护都不是绝对保证。12| 账号 | 窗口内状态 | 记录与筛选结果 |
|---|---|---|
| @AnthropicAI | 无 | 最近可见原创早于窗口,无新增官方帖。 |
| @claudeai | 无 | 最近可见产品帖早于窗口,无新增官方帖。 |
| @DarioAmodei | 无 | 无窗口内发言。 |
| @karpathy | 无 | 最近可见回复早于窗口,无 Anthropic 相关新信号。 |
| @ch402 | 无 | 无窗口内发言。 |
| @AmandaAskell | 无 | 最近可见内容早于窗口,且与频道主题无关。 |
| @bcherny | 有 | prompt injection 防御原创帖及后续回复;主榜取 1 条,排除排障和低信息量回复。 |
| @mikeyk | 无 | 无窗口内发言。 |
| @DanielaAmodei | 无 | 无近期公开发言返回。 |
| @jackclarkSF | 无 | 最近可见回复早于窗口,未见相关新增判断。 |
| @nottombrown | 无 | 账号时间线无窗口内新增内容。 |
| @janleike | 无 | 最近可见内容为窗口外转发。 |
| @_catwu | 无 | 无窗口内发言。 |
| @trq212 | 无 | 最近可见产品相关帖早于窗口。 |
| @Mike_A_Merrill | 无 | 无窗口内发言。 |
| @EvanHub | 无 | 最近可见为窗口外转发,未计入。 |
| @ErikJones313 | 无 | 无窗口内发言。 |
| @noahzweben | 无 | 最近可见 Claude Tag 讨论早于窗口。 |
| @karan_sampath | 无 | 无窗口内发言。 |
| @lydiahallie | 有 | 1 条产品边界回复进入第 3 条合并信息点;另 1 条求助回复降级。 |
| @amorriscode | 有 | 多条排障回复,只有 classifier 解释具备信息增量,纳入第 3 条。 |
| @IsabellaKHe | 无 | 无窗口内发言。 |
| @OmidMogasemi | 有 | 转发 Boris Cherny 的 prompt injection 帖;作为扩散信号记录,不单独计数。 |
| @lamismukta | 无 | 最近可见播客转发早于窗口。 |
| @yanda_chen_ | 无 | 无窗口内发言。 |
| @johnschulman2 | 有 | 1 条关于异常轨迹前缀与 RL / eval 的回复进入第 2 条。 |
| @nelhage | 无 | 时间线返回为空,未发现窗口内公开发言。 |
claude.com
anthropic.com
anthropic.com
anthropic.com
code.claude.com
anthropic.com
anthropic.com
anthropic.com
anthropic.com
claude.com
code.claude.com
This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.