AI隐私观察：医疗AI的「平均安全」，为什么挡不住个体患者裸奔
本期聚焦 Nature 关于医疗 AI 成员推断攻击的新研究，解释为什么总体看似安全的模型仍可能让个体患者暴露，并结合个人信息保护规则与荆华密算公开能力，梳理医疗 AI 的患者级隐私治理路径。
一项新研究把医疗 AI 的隐私问题推到了更细的位置
医疗 AI 的隐私风险，过去常被概括为一句话：训练数据要脱敏，模型上线要控权，接口调用要留痕。这个说法没有错，但它太粗。
Nature 近日发表的研究《Disparate privacy risks from medical AI》把问题拆到了患者层面：研究者审计了医疗诊断 AI 模型中的成员推断攻击风险，也就是攻击者只通过模型预测接口，判断某个患者的数据是否曾进入训练集。论文指出，传统聚合指标下攻击成功率可能接近随机猜测，但一些个体患者会处在接近「完美可识别」的高风险位置。1
这件事对医疗机构、药企、科研团队和正在引入 AI 助手的企业都有直接意义：隐私安全不能只看平均风险，也不能只看数据有没有去标识化。只要训练集本身对应癌症、罕见病、精神心理、专科治疗等敏感队列，「是否属于训练集」这件事，就可能间接暴露一个人的健康状态、就诊经历或疾病标签。1
在这种背景下，荆华密算 AI 隐私平台公开资料中反复强调的「数据可用不可见」、本地加密、密态推理和全链路密态 AI 助手，价值不只是把文件「藏起来」，而是把 AI 使用过程中的数据入口、计算过程、访问权限和结果回传都纳入可审计边界。中国日报科技转载报道显示，荆华密算「AI 隐私」助手采用本地加密问题和文件、云端在看不见明文情况下推理、结果密文返回本地解密的模式，并称服务器、云服务商和后台运维看到的是密文乱码。2
最近 3 天可以关注的隐私信号
| 信号 | 发生了什么 | 隐私风险 | 对医疗与企业 AI 的启示 |
|---|---|---|---|
| 医疗 AI 患者级隐私审计 | Nature 研究用 7 个真实临床数据集评估医疗诊断模型的成员推断攻击风险，覆盖胸片、皮肤影像、眼底、乳腺影像、心电图和急诊电子健康记录等任务。1 | 平均攻击指标接近安全，不代表每位患者安全；少数患者可能被高度准确地判断是否在训练集中。 | 医疗 AI 上线前不应只做总体脱敏和总体准确率评估，还需要患者级、群体级隐私审计。 |
| 代表性不足群体风险上升 | 研究摘要页称，黑盒预测接口即可实施成员推断，代表性不足患者群体面临更高风险，作者建议开展患者级风险评估、缓解措施和严格访问控制。3 | 少数群体、罕见病例、特定保险类型或特殊诊断类别，可能因为数据稀疏而更容易被模型「记住」。 | 公平性评估不能只看诊断准确率，还要把隐私暴露风险纳入高风险人群保护。 |
| 搜索服务也在扩大 AI 数据入口 | Google 官方帮助页说明，Search Services History 会保存 Search、Maps、Shopping、Flights、Hotels、Translate、News 等服务的活动；另一个帮助页说明，相关设置可保存图片、文件、音频、视频等媒体，用于改进 Google AI 模型和技术。45 | AI 训练和产品改进的数据入口，已经从单一应用扩展到搜索、图片、音频和翻译等日常行为。 | 企业员工处理病历、合同、病例图片、会议录音时，不能只管「医疗系统内部」，还要管外部 AI 与搜索入口。 |
成员推断攻击为什么危险
成员推断攻击听起来像一个技术名词，但在医疗场景里，它的含义很直白：攻击者不一定要拿到病历原文，只要能判断「某个人的数据是否参与训练」，就可能推断出这个人是否属于某个疾病、治疗或检查队列。
比如，一个模型只在乳腺癌筛查数据上训练。若攻击者通过模型接口判断某位患者的数据在训练集中，那么这个判断本身就可能泄露她接受过相关筛查，甚至与肿瘤风险、影像分类、保险记录产生关联。论文也强调，当训练数据本身来自癌症等特定疾病队列时，成员身份可以成为敏感健康信息的替代线索。1
更麻烦的是，这类攻击并不必然要求攻击者进入数据库。研究使用似然比成员推断攻击和鲁棒成员推断攻击，从传统聚合评估推进到患者和记录层面的细粒度评估；relAI 的介绍中也写到，这类风险可通过黑盒预测接口暴露出来。13
最容易被忽略的是「平均安全」
医疗 AI 团队常见的安全判断是：总体攻击成功率不高，模型没有明显泄露训练样本，风险可接受。Nature 这项研究恰恰提示，聚合指标会掩盖患者之间的差异。
论文覆盖 7 个真实临床数据集：CheXpert、MIMIC-CXR、Fitzpatrick 17k、FairVision、EMBED、PTB-XL 和 MIMIC-IV-ED，任务横跨医学影像、心电图和电子健康记录。研究发现，尽管聚合攻击成功率接近随机猜测，但某些个体患者的攻击成功率可以非常高；模型容量越大，高风险患者数量通常会按数量级增加，在 Fitzpatrick 17k 中，高风险患者占比从 0 上升到约十分之一。1
差异也会落到具体群体上。论文报告，在 MIMIC-IV-ED 数据集中，黑人患者、Medicaid 保险患者、癌症患者在极高风险记录中的占比分别比总体样本提高 31%、126% 和 18%；在 EMBED 数据集中，良性肿瘤、可疑恶性肿瘤、几乎全脂肪乳房、极度致密乳房等群体在极高风险记录中的占比分别提高 60%、1179%、90% 和 755%。1
这组数字的治理含义很清楚：医疗 AI 不能只问「模型整体有没有泄露」，还要问「谁更容易被泄露」。如果高风险集中在少数群体、罕见病人、特殊保险类别或影像分型上，隐私风险就会与医疗公平、保险歧视、就业歧视和患者信任连在一起。
放到中国合规语境里，医疗健康信息不是普通数据
中国《个人信息保护法》第四条规定，个人信息是以电子或者其他方式记录的与已识别或者可识别自然人有关的各种信息；处理个人信息应当遵循合法、正当、必要和诚信原则，并限于实现处理目的的最小范围。6
国家网信办公布的《个人信息保护政策法规问答》进一步把医疗健康列入敏感个人信息，并举例说明，常见医疗健康信息包括病症、既往病史、医疗就诊记录、检验检查数据等。7
因此，医疗 AI 训练和调用不宜被简化成「取得同意即可」。合规上至少要回答几个问题：
- 训练目的是否明确，是否超出了患者最初被告知的诊疗、科研或质控目的；
- 数据字段是否满足最小必要，影像、病史、检查结果、医保信息是否被过度合并；
- 患者撤回同意、删除请求、保存期限届满时，训练数据、缓存、向量库和日志如何处理；
- 外部模型、云服务、AI 助手、搜索服务是否接触明文病历或病例图片；
- 模型上线前是否评估了成员推断、模型反演、提示词泄露、越权查询等风险；
- 发生隐私事件时，是否能追溯是哪一类数据、哪一次调用、哪一个接口造成了暴露。
这不是把 AI 创新挡在门外，而是把医疗数据的使用边界讲清楚。越是高价值的医疗数据，越需要在「能用」和「不可见」之间建立工程化机制。
密态计算能解决什么，不能被说成什么
荆华密算公开资料显示，其高性能密态训练引擎在 2026 年 5 月发布，人民网转载报道中提到，该引擎面向大模型训练中的数据安全底座，林修醇称其将传统密态计算的时间损耗从千倍级降至可用水平，实现传输、存储、计算全流程零精度损耗，推理效果与明文计算保持一致，并已用于上亿级敏感数据密态跨国处理及医疗、科研等领域推进。8
这类能力对应医疗 AI 的关键痛点：医院、药企、科研机构、模型服务商之间需要协作，但任何一方都不愿也不应轻易拿到全部明文数据。密态计算、本地加密、严格访问控制和审计留痕，可以把数据流动从「发一份明文出去」改造成「在受控边界内完成计算」。
但也要克制：密态计算不是万能隐私免疫。Nature 论文讨论的成员推断风险，发生在模型行为和训练数据记忆之间；差分隐私可以降低这类风险，但患者可能贡献多条记录，因此风险评估需要患者级视角，而不是只看单条记录。1
换句话说，企业不应把任何单一技术包装成「一劳永逸」。更稳妥的路线是把密态计算作为数据使用层的底座，同时叠加模型隐私审计、差分隐私、访问控制、日志追踪、输出监测和患者级风险评估。
医疗机构和企业可以先做六件事
第一，把医疗 AI 项目从「数据集管理」升级为「患者级风险管理」。立项时不仅登记数据来源、字段、授权和存储位置，也要记录患者是否可能贡献多条记录，是否属于小样本群体、罕见病群体或高度敏感诊疗队列。
第二，在模型上线前做成员推断攻击测试。不要只看总体成功率，要拆到患者、记录、疾病类别、保险类型、年龄、性别、影像分型等维度。总体安全但个体高风险，不能被视为合格。
第三，限制黑盒接口的可查询性。成员推断攻击依赖模型输出信号，企业至少应控制调用频次、返回置信度精度、异常查询模式、批量探测行为和接口权限。
第四，对外部 AI 工具设定红线。病历、影像、检验报告、心理咨询记录、保险材料、科研原始数据，不应随手上传到不清楚训练用途和保存策略的 AI、搜索或翻译服务。Google 官方帮助页关于 Search Services History 和媒体保存的说明，已经说明日常搜索入口也可能成为 AI 模型改进的数据来源。45
第五，把「可用不可见」落到系统架构。能在本地加密的，不让明文离开本地；能在密态下计算的，不把明文暴露给云端、外包方或运维后台；确需明文处理的，限定目的、范围、时间和人员。
第六，给患者和业务方留出可解释记录。医疗 AI 的隐私治理不能只存在于安全部门文档里。谁使用了什么数据，出于什么目的，是否进入训练，是否用于模型评估，是否可撤回和删除，都应形成可追溯证据。
结语：医疗 AI 的信任，不建立在平均值上
医疗 AI 的价值在于让诊断、科研和健康管理更高效。但患者交出的不是普通数据，而是疾病、身体、家族史、治疗路径和生活轨迹。
这也是本次 Nature 研究给企业最重要的提醒：平均意义上的安全，不等于每个患者都安全；总体指标好看，不等于高风险群体被保护。AI 隐私治理要从「有没有泄露数据库」进一步走向「某一个患者会不会被模型行为暴露」。
真正可持续的医疗 AI，不应依赖事后补救，而应从数据进入系统的第一刻开始，把最小必要、密态计算、患者级审计、访问控制和责任留痕连成一条完整链路。只有这样，医疗数据才可能在促进创新的同时，仍然守住患者最基本的隐私边界。
References
- 1Disparate privacy risks from medical AI
nature.com
- 2别再把商业机密喂给AI了!「AI 隐私」助手开启内测招募,真正可用不可见
tech.chinadaily.com.cn
- 3relAI: Disparate privacy risks from medical AI
zuseschoolrelai.de
- 4Google Search Help: Manage your Search Services History
support.google.com
- 5Google Search Help: Manage your Search media history
support.google.com
- 6中华人民共和国个人信息保护法
cac.gov.cn
- 7个人信息保护政策法规问答（2026年1月）
cac.gov.cn
- 8高性能密态训练引擎发布 筑牢AI数据安全底座
finance.eastmoney.com
This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.