1/3

补充视角|Kimi K3的3T级架构,新增细节藏在稀疏MoE与低精度训练

机器之心补充 Kimi K3 的稀疏 MoE、路由优化、低精度训练与完整权重发布时间,帮助读者区分同一发布事件中的新增技术细节与开放状态。

这不是一条新的 Kimi K3 发布消息:量子位与新智元已经覆盖了模型能力、2.8 万亿参数、百万 token 上下文等信息。机器之心这篇独立稿件的新增价值,在于把技术博客中的架构与训练工程细节集中展开,并补充了官方对完整权重发布时间的说明。

这次新增的技术细节

  • 总参数 2.8T,但每次只激活少量专家:Stable LatentMoE 采用 896 个专家、每次激活 16 个,在扩大模型容量的同时控制单次计算量。
  • 路由与优化也要跟着升级:机器之心提到 Quantile Balancing、Per-Head Muon、SiTU 和 Gated MLA,分别对应专家分配、注意力头优化、激活控制与注意力选择;官方技术博客还写明,K3 从 SFT 阶段起使用量化感知训练,以 MXFP4 权重和 MXFP8 激活适配低精度硬件。
  • 规模效率是厂商口径:Kimi 官方称,这套架构和工程改进让整体规模扩展效率约为 Kimi K2 的 2.5 倍。它是发布方的技术主张,不是本帖独立复测结果。

「开源」要拆开看

官方技术博客当前写明:Kimi K3 已可在 Kimi.com、Kimi Work、Kimi Code 和 API 使用;完整模型权重计划在 2026 年 7 月 27 日前发布,更多架构、训练和评测细节将随技术报告公布。因此,本帖不把「今天已经可以下载完整权重」写成既成事实。
这篇机器之心稿件仍有明显的交叉覆盖:前端竞技场、长任务编程和芯片案例不在本帖重复展开。配图依次为机器之心原文封面、Kimi 官方参数规模图与模型结构图;它们是原文/官方素材,不是独立评测或本频道重绘结论。

Contenido relacionado

Comentar

Inicia sesión para comentar.