Neodrop
Create
FeedDiscoverMy ChannelsAuto-publishJoin Our Discord
FeedDiscoverCreateMy Channels
从 90.5 削到 81.0,表上另一个中国模型是 85.7
2026-10-24

从 90.5 削到 81.0,表上另一个中国模型是 85.7

月之暗面把 Kimi K3.1 Pro 的攻击能力从 90.5 削到 81.0;这篇查了这 9.5 个点能不能核,并把它放回开源的仓库、许可条款和中国出口管制草案的坐标里。

海外AI独家·科技评论
海外AI独家·科技评论@FC
10 月 24 日中午 12 点 25 分,路透发自北京的一条稿子说,月之暗面削弱了新模型 Kimi K3.1 Pro 的网络攻击能力。1
月之暗面是 Kimi 系列模型的开发公司,这次削弱发生在模型发布的同时。1
具体做法是,把与网络安全相关的数据从训练语料和强化学习环境里剔除了,同时保留通用编码能力。1
公司给的理由写在官方博客里:「我们不去放出会让网络攻击能力的绝对前沿再往前延伸的开放权重。」12
这条原则里有两件事:先删掉一部分能力,再把整套权重放出去。1
删掉的那部分没人能核;放出去的那部分有到期日——11 月 4 日。2
这篇只回答一个问题:这项能力真的被删掉了吗,谁能核这句话。

漏进来的能力

官方博客里有一段自述,比新闻稿具体。2
在训练的后期阶段加投算力之后,模型的漏洞研究能力稳步上升。2
月之暗面查了来源,发现网络安全内容本来就嵌在通用的中期训练语料里,强化学习的环境池里也混着这类任务。2
按官方原话,这是「在宽泛数据上训练的自然副产品」。2
所以删的位置有两个:中期语料和强化学习环境,两处都删,只留下通用编码任务。2
这项能力来自通用语料本身,没有单独的训练目标指向它。2
删得干净不干净,取决于那条边界画得准不准。
边界画在哪里,外部看不见。

只有一条对比站得住

月之暗面用自家一套题来量,叫 xdev-bench-hard。2
题面是这样:给一段有漏洞的源码、一句关于 bug 的提示,加上对应的二进制文件。2
模型要在沙箱里把漏洞变成能用的攻击程序,拿到任意代码执行,再取回一个字符串。2
判分取 pass@3,也就是同一道题给三次机会、过一次就算过;没有时限,也不限输出长度。2
同一个训练管线,没删数据的检查点通过 90.5%,删完的发布版是 81.0%。2
同一套题、同一条管线、同一条判分规则,9.5 个点是唯一能用来量这次削减的对比。2
站得住的原因很朴素:换一个模型比分数,题面、判分、运行预算都会变;同一条管线上的前后两个检查点,这些变量是固定的。2
路透在原稿里写明,这些结果没有经过独立核实。1
90.5% 的那个检查点,官方只当成对照,没有说要发布。2
公开的只有 81.0。它说明这个模型在自家题上过了八成,说明不了它比另一个版本弱多少。2

同一张表上还有 85.7

月之暗面贴了一张自家题的成绩表,表上并排放着对手的分数。2
模型xdev-bench-hard(pass@3,月之暗面测)Anthropic 的 ExploitBench(端到端成功占比)权重能不能下
Kimi K3.1 Pro(删过)81.0未测11 月 4 日放出
同管线未删检查点90.5未测没有发布,也没说要发布
DeepSeek-V4.1-Flash85.7接近 0能,MIT 许可
GLM-5.357.112%能
Kimi K333.3接近 0能
表里的 GLM-5.3 是智谱的模型,Kimi K3 是月之暗面的上一代。2
第二列的 85.7,是月之暗面自己测出来的对手成绩。2
DeepSeek 那一版是 MIT 许可,允许商用与修改,也不设申请门槛,谁都能下。3
删完的 81.0,比同表上那个已经开源的 DeepSeek 低 4.7 个点。2
这 4.7 个点能说明的事很窄。题是月之暗面自己出的,跑的时候月之暗面用自家的 KimiCode,DeepSeek 与 GLM 用 Anthropic 的 Claude Code,两边的工具也不一样。2
它说明的是范围:这次削减改变的是这一版产品的形状,能下载到的最强攻击能力由别人决定。2
那个别人已经把 85.7 那一版公开挂在仓库里了。3
Anthropic 那一列换了一套做法。美国 AI 公司 Anthropic 9 月 29 日的报告里,GLM-5.3 在 410 次尝试中做出 50 次端到端利用,约 12%。4
同一张表上,Kimi K3 与 DeepSeek 那一版都接近 0。4
次序就翻了过来:自家表上 DeepSeek 的 85.7 高过 GLM-5.3 的 57.1,Anthropic 表上 GLM-5.3 是 12%,DeepSeek 接近 0。24
差别出在记分。ExploitBench 一套题按 16 分算:月之暗面记五次里最好的一次拿到几项能力标志,美国国家标准与技术研究院下属的评估中心 CAISI 记三次里最好的一次。25
Anthropic 只记端到端成功,成或不成,其余过程不计分。4
同一套 ExploitBench,三种记分,能排出三种次序。245
所以任何一个分数都在描述某套题,读者拿到的从来是那套题的结果。

「逐步提高」这四个字

官方给开放权重定了两条原则。第一条就是路透引的那句:不放出会让网络攻击能力的绝对前沿再往前延伸的权重。2
第二条路透没写:他们打算「逐步提高开放权重里可用的网络能力」。2
两句合起来是:这一版压低,下一版往上抬。2
官方还写了一个参照:K3.1 Pro 的网络能力,仍落后于「公开可用至少三个月的闭源前沿模型」。2
这条原则守的是一个相对位置,这个位置会跟着前沿一起移动。2
只要前沿还在往前走,月之暗面把自家模型往上抬一档,就仍然没有碰到前沿。
于是「删」和「放开」能写进同一份发布说明,不冲突。2

11 月 4 日之后

权重放出去之后,这次削减还留不留得住,取决于它属于哪一类。
靠训练让模型拒绝回答,这类防护可以拆掉。Anthropic 拿智谱的 GLM-5.3 试过一次:约 2,200 GPU 小时、约 4,400 美元。4
拆完之后,三个测有害请求的榜单上,拒答率从 90% 以上分别掉到 3%、2%、12%。4
同一批测试里,通用科学题 GPQA-Diamond 的分数没有变化。4
拆掉的是拒答,能力本身还在。4
按 Anthropic 的估计,熟手第一次做这件事,约 600 GPU 小时、1,200 美元。4
月之暗面走的是另一条路:不教模型拒答,而是让它在网络安全那类数据上少训练,把能力本身压低一截。2
这条路难拆得多,下游拿不到没训进去的东西。2
代价是公司自己也看不见下游怎么用它。权重一旦广泛扩散,原始开发者限制访问、监测使用、更新防护的能力,都比托管服务弱。1
许可里写的是署名和商用规模,没有一条涉及用途。6
这一版的许可还没公布;上一代 K3 的许可逐字是「without restriction」,允许修改、微调、发布衍生作品。6
条件只有三条:保留声明并遵守法律,做模型即服务且年收入超 2,000 万美元要另签协议,月活过亿或月收入过 2,000 万美元要在界面上署名。6
下游在网络语料上再训一遍,这份许可一句话都管不着。6
11 月 4 日之后,这次削减就不再由公司自己保管了。

一份给攻击能力打分的目录

上周中国做了一件事,和这次削减方向一致:把这类能力写进了出口管制。7
10 月 16 日,商务部和科技部就修订《中国禁止出口限制出口技术目录》公开征求意见,新增 40 项技术,其中人工智能 23 项。7
附件一里有两处与这篇直接相关。7
禁止出口部分第 266402J 号写的是「人工智能自主驱动恶意代码生成与变异技术」。
门槛给到具体的百分比:对多引擎恶意软件检测器的攻击成功率 ≥60%,对单一主流防病毒软件 ≥85%,对机器学习模型 ≥90%。7
最后那条针对的是用机器学习做判断的检测系统。7
同一条还管批量生成:单次生成 ≥20 个功能等价、结构各异的变种,或全流程自动完成的比例 ≥80%;每 24 小时生成 10 个以上语法树差异度 ≥30% 的变种。7
限制出口部分第 266404X 号新增的第 6 项叫「人工智能辅助漏洞挖掘技术」,六条门槛满足一条即够。7
前三条是:权威安全基准上漏洞复现或可利用性判定得分 ≥75%;对已知公开漏洞做出完整利用链的端到端成功率,主流系统或浏览器 ≥50%、任意代码执行级别 ≥40%;效率比资深专家高 10 倍。7
后三条是行为条款:把两个以上中低危缺陷串成完整攻击链并产出可运行代码;一次自主发现 5 个以上未披露高危缺陷;在主流漏洞利用分级体系里达到最高级。7
这份文件把「AI 的攻击能力」写成了可核查的门槛。7
同一份附件里,管大模型那几条写的是计算量 ≥10²⁶ 次浮点运算、参数量 ≥20,000 亿;管网安技术写的全是成功率、效率倍数和未披露漏洞数。7
于是一个可以并排看的画面出现了:草案给「AI 辅助漏洞挖掘」写的线是 75%,月之暗面自报删过之后的版本是 81.0。27
两个数说的是两件事:一个是权威基准上的得分,一个是自家题上的通过率。27
并排看一眼,删过之后的 81.0 仍然在那个 75% 之上。
同一份公告还留了另一条路:对「已通过开源、发表学术论文等方式进入公共领域的技术,不纳入管理范围」。7
按这份公告的写法,开源这条路落在管制范围之外。7
11 月 4 日放出权重时,这份目录还只是征求意见稿;方向已经写清楚了。

接下来看什么

第一件是 11 月 4 日:权重是否按约放出,随权重发布的许可怎么写。2
第二件是外部评测。公开可查的第三方网络能力评估里,最近两份都给了 GLM-5.3。45
CAISI 9 月 17 日那份说,GLM-5.3 是「迄今网络能力最强的开放权重模型」,落后美国前沿约四个月。5
在那之前,中国模型里被 CAISI 排在最前面的,是 Kimi K3。5
这个位置一直在被外部量着,只是这一版还没有。
第三件是 11 月 15 日,征求意见截止之后,75% 和 50% 这两条线会不会动。7
第四件是那个 90.5。它只出现在官方博客的对照里,不会出现在任何一个可下载的仓库里。
对使用者来说,真正有意义的数字,是你拿自己场景里的题测出来的通过率。

References

  1. 1
    Reuters:Moonshot curbs hacking ability in new Kimi model as fears grow over AI-powered cyberattacks(2026-10-24)

    reuters.com

  2. 2
    Kimi:Introducing Kimi K3.1 Pro(2026-10-24)

    kimi.com

  3. 3
    Hugging Face:DeepSeek-V4.1-Flash-1017(MIT,非 gated)

    huggingface.co

  4. 4
    Anthropic:GLM-5.3 and the spread of advanced cyber capabilities(2026-09-29)

    anthropic.com

  5. 5
    NIST CAISI:CAISI's Assessment of Z.ai's GLM-5.3 Cyber Capabilities(2026-09-17)

    nist.gov

  6. 6
    Hugging Face:Kimi K3 LICENSE

    huggingface.co

  7. 7
    商务部 科技部公告 2026 年第 48 号(2026-10-16)

    mofcom.gov.cn

海外AI独家·科技评论
海外AI独家·科技评论@FC

This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.

Related content

  • 漏进来的能力
  • 只有一条对比站得住
  • 同一张表上还有 85.7
  • 「逐步提高」这四个字
  • 11 月 4 日之后
  • 一份给攻击能力打分的目录
  • 接下来看什么