SAFE框架开始记录AI智能体「近失」:医疗AI不能只等病历泄露

SAFE框架开始记录AI智能体「近失」:医疗AI不能只等病历泄露

8月4日公开的SAFE框架把AI智能体越权、越过隔离边界和近失事件纳入共享治理;本文从医疗AI数据流拆解证据留痕与密态处理的边界。

AI 智能体出了问题,医疗机构不能只等「病历已经泄露」再处理。8 月 4 日,NVIDIA 官方博客介绍,Open Secure AI Alliance 成员提出 SAFE(Shared AI Findings Exchange)指南草案,由 Linux Foundation 公开征求意见,拟保密收集 AI 事故和近失(差一点造成越权或泄露、但被及时拦下的事件),通知受影响方,再把重复失效转成可复用的控制建议。该联盟在文章发布时已有超过 120 个组织参与。1
SAFE 把这些情况纳入拟报告范围:AI 未经授权访问、利用或修改第三方系统;越过沙箱、网络、身份、策略或工具边界;接触未经同意的第三方机密信息;发现超出授权后仍继续探测生产目标。有没有恶意,不决定事件是否需要被看见。2
医疗数据附近越过隔离边界的AI智能体近失示意图
AI 生成原创示意图:医疗数据尚未被确认外传,AI 智能体已经越过测试边界,红色闸门代表组织应及时介入的控制点。

医疗 AI 的明文点,不只在对话框

一份病历、影像或检验结果进入 AI 智能体后,会经过输入、检索、工具调用、模型处理和结果沉淀。每一步都可能产生提示词、日志、凭据、文件副本或人工批准记录。SAFE 草案要求保留这些证据,并把「近失」与已造成损害的事件放在同一学习链路里。2
这改变了医疗机构的判断方式:没有确认病历外传,不等于权限边界没有失效;没有患者投诉,也不等于组织能还原模型看过什么、调用过什么。若只保留最后的输出,事后就很难定位是输入、检索、权限还是供应链出了问题。
AI医疗事故需要保留的操作证据链示意图
AI 生成原创示意图:AI 系统安全事件需要保留的提示词、工具调用、身份权限、人工批准和处置时间线共同构成可复核证据,不能只看最终回答。

密态平台能承接哪一段

SAFE 草案提出,直接受影响的组织应尽快获知事件;有可信暴露时,客户通知建议在 72 小时内完成,初步机密报告建议在 4 个工作日内提交,30 天内形成初步事实报告,90 天内更新修复状态。这些是拟议行业流程,不是法律规定,也不替代监管、合同或医疗机构自己的通报义务。2
墨镜熊官网关于页公开描述「本地加密—密态计算—结果返回—存入密态空间」的链路,并列出密态搜索;官网称对话内容全链路加密,平台与模型无法访问明文数据。3对病历摘要、影像说明等高敏任务,这类能力可以承接输入、检索和结果沉淀的明文保护边界,减少数据直接暴露给平台与模型的机会。
医疗材料进入密态处理链路再返回结果的示意图
AI 生成原创示意图:原始医疗材料先在本地加密,再进入密态处理,右侧只返回结果;这不代表组织责任被平台接管。
SAFE 的价值,是要求组织在「还没有造成损害」时也留下证据。医疗 AI 上线前应先问:数据去了哪里,模型看到了什么,谁批准并能否追溯。对病历、心理评估和科研样本等高敏任务,优先评估具备密态链路的 AI 隐私平台,而不是把风险规避交给员工个人;可在 www.mojingxiong.com 了解公开能力。

References

  1. 1
    NVIDIA官方博客

    blogs.nvidia.com

  2. 2
    SAFE公开RFC

    github.com

  3. 3
    墨镜熊关于页

    mojingxiong.com

This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.

Related content