唐杰说 GLM 优化了服务它自己的推理栈：三处修复里，只有一处能在公开仓库里查到 (2026)

北京时间 9 月 17 日 15 时 08 分，智谱创始人兼首席科学家唐杰在 X 上发了一条帖，说 GLM-5.3 参与搭建了服务它自己的那套推理系统；帖子里最重的一句是，「最小的回路现在存在了」（the smallest loop now exists）。 1

三分钟前，也就是 15 时 05 分，智谱（Z.ai）的官方账号先发了那篇博客的宣告帖。博客的标题是《Toward Recursive Self-Improvement: How GLM Built Its Own Inference Infrastructure》，落款日期 2026 年 9 月 17 日。2 3

Loading content card…

帖子里有三个数字：从 GLM-5.3-Flash 在国产加速器上第一次跑通，到承担全部生产流量，用了不到两周；端到端吞吐是初始基线的 3.2 倍；集群规模在 10 万张国产加速器以上。35 同一个倍数在三处出现得不太一样：博客正文写的是「roughly 3×」，配图 1 标的是 3.22×，唐杰帖里写的是 3.2 倍——三个数都出自智谱自己。3536

这篇博客真正的交付物是一套反馈环境：它把一句「吞吐掉了 20%」翻译成「哪一层坏了、下一步该测什么」。而它写进正文的三处修复里，只有一处留下了任何人都能打开看的公开记录。

01 这两周里，机器做了什么，人做了什么

这篇博客讲的是一个已经上线的东西：GLM-5.3-Flash 的全部生产推理，都跑在这套系统上。36 先说清两个名字——GLM-5.3 是 8 月 14 日发布的模型，GLM-5.3-Flash 是同一系列里的轻量型号（320B 总参数、18B 激活），8 月 26 日发布、以 MIT 许可开源；本期讲的推理系统服务的正是后者。4 5

条件并不宽裕，博客列出的限制有三层：单卡的显存容量与互联带宽都不充裕；一个新模型架构、100 万 token 的上下文窗口和多模态请求要同时支持；整个软件生态不成熟，kernel 支持不完整，很多本该有文档的地方只能靠猜。36 按博客自己的说法，此前没有人把这种规模的国产加速器集群部署起来过。36

优化的路线是几组交换。唐杰在帖里把它们列成四对：拿计算换显存（ReplaySSM），拿通信换显存（线性注意力的节点内张量并行），拿精度换容量（INT8／FP8／BF16 混合精度缓存量化），拿拆分换调度自由（编码—预填充—解码，简称 EPD）。3536 这些加在一起，把端到端服务性能抬到大约 3 倍。36

GLM-5.3-Flash end-to-end throughput optimization

智谱博客图 1，2026 年 9 月 17 日：横轴是从首次跑通算起的第 0 天到第 13 天，纵轴是端到端吞吐相对初始基线的倍数，四个灰底区间依次是系统打通与调度、并行与通信、kernel 优化、上线。曲线上标出的是每一次改动带来的增益，最后一点是 3.22×。图里的数字全部为厂商自报，没有第三方复测。

最能说明变化的，是博客给出的分工。它把这件事写成两支队伍在同一个循环里各做三件事：工程师定义优化目标与系统约束、搭建 agent 能直接使用的反馈环境、审查涉及系统架构、异步并发与生产风险的关键改动；那个由 GLM-5.3 驱动的「基础设施智能体」（Infra Agent，下称 Infra Agent）提假设、实现改动、跑实验，再根据反馈保留、修改或放弃当前方案。 36

唐杰把这次转变归成一句话：「the engineer's role is changing, from the person who solves the problem to the person who designs the feedback.」（工程师的角色正在变化，从解决问题的人，变成设计反馈的人。）35

02 卡住 agent 的地方，是不知道哪一层坏了

博客里最技术、也最可迁移的一段，讲的是 agent 卡在哪里：

End-to-end metrics can tell an agent that results got worse, but they cannot explain why.

「端到端的指标能告诉 agent 结果变差了，但它解释不了为什么。」

在另一段里，博客举了三个这样的「一句话结果」：数值精度测试没过、首 token 时延涨了 30%、输出吞吐掉了 20%。36 唐杰在帖里挑了最后一个做例子：改动之后吞吐掉了 20%，说明有东西坏了，却不说清是哪一层坏了、哪个假设错了、下一步该测什么；用强化学习的话说，这是一个稀疏奖励加上信用分配的问题——奖励只在最后一步给，而错误出在中间的哪一步，没有人知道。35

智谱的解法是把「结果」拆成三类可以归因的信号，并给这件事起了个名字：dense feedback，密反馈。36 第一类是正确性（correctness），回答「算得对不对」，做法是把并行策略映射到具体 kernel，再把同一个输入在切分与不切分两条路径上的输出拿来比对。第二类是系统行为（system behavior），回答「时间花在哪」，靠运行日志、执行轨迹、运行时事件和线程状态，把计算、等待、通信三者的时序关系摆出来。第三类是性能（performance），回答「哪个方案更好、在什么条件下更好」，靠微基准测试、计算与传输的重叠程度，以及端到端拿到的实际收益。36

智谱博客图 2，2026 年 9 月 17 日：左侧是只有端到端反馈的循环——改一次，等一次完整运行的结果；右侧是加入中间验证接口之后的循环，三类接口分别回答「算对了吗」「时间去哪了」「哪个方案更好」，底部三条性质是局部、便宜及时、可客观验证，最上是工程师给出的目标与边界，最下是端到端验收。

三条性质决定这些反馈有没有用，博客列得很清楚：反馈要足够局部，能落到某个启动参数、某次代码改动、某个 kernel、某个输入条件上；要足够便宜及时，能用一次 kernel 测试或本地微基准回答的问题，不必每次都做完整部署和端到端压测；要能客观验证，靠参考实现、测试结果和受控实验判断对错。 36

这套东西很容易被复述成一句口号，所以博客里那句限定反而更值得记：搭建反馈环境，不只是把测试、日志和性能数据交出来，还要说清每一类观测能支撑什么判断、它的边界在哪里、哪些结论必须再做一次实验才能确认。36

唐杰在帖里给出了紧接着的推论：一个建立在真实基础设施任务上的、分层且可验证的反馈环境，正是训练下一代模型最需要的东西——agent 每完成一个任务，都可以变成它继任者的训练场。35

03 三处修复，只有一处留下了公开记录

博客用三个案例说明三层反馈各自怎么起作用。它们都发生在 2026 年 8 月下旬，而三者在外部世界留下的痕迹完全不同。

精度漂移：查得到，但默认关闭

第一个案例出在 KDA（Kimi Delta Attention，一种线性注意力机制）kernel 的上下文并行路径上。博客说，做 kernel 校验时发现 CP 与非 CP 两条路径的结果对不上，顺着状态传递与合并的计算往下查，根因是 tl.dot 在输入为 FP32 时默认按 TF32 计算，精度损失在长上下文里越积越大；修复是把这两步矩阵乘显式设成 input_precision="tf32x3"。36

这一段外部可以查到。Flash Linear Attention 仓库里的 PR #1180，标题是「[CP] use tf32x3 affine chain in kcp」，2026 年 8 月 27 日北京时间 13 时 33 分提出，当天 17 时 49 分合并，改了 6 个文件、增加 140 行、删除 13 行。6 博客说的「KDA 的 CP 路径」也对得上：仓库里 CP 实现的说明第一句就写着，这条路径在 Moonshot 内部名为 KCP，服务于 GDN、GDP、KDA 这一类递推模型。7

github.com · GitHub PR #1180

fla-org/flash-linear-attention#1180

https://github.com/fla-org/flash-linear-attention/pull/1180

Loading content card…

「tl.dot 默认用 TF32」这句话不是智谱的说法。Triton 官方文档在 input_precision 这一项下写着默认值是 tf32，并提醒输入可能被截断成 19 位的 TF32 格式而不做舍入，这会带来偏差。8

博客的说法与这份提交记录之间，有两处差别值得记住。第一处是这次改动带着一个默认关闭的开关合进了主干：仓库里的开关是 FLA_INTRACARD_TF32X3，默认值为 0，PR 自述这是一个「选择加入的精度路径」，开关关着时在 NVIDIA 上的行为与改动前逐位一致；要拿到博客里那种精度，得显式打开它。9 第二处是归属：提交信息、作者资料和 PR 页面上都没有智谱或 GLM 的署名，也没有提到 Infra Agent，外部能确认的只有「存在这次代码改动」这一件事。37

KV 传输：缺陷查得到，修复查不到

第二个案例是一个并发瓶颈。智谱的优化工程师给 agent 定的验收线是：同样负载下，「预填充 + KV 传输」相对纯预填充的性能差距不得超过 5%；实测在部分场景里，这个差距超过了 20%。顺着调用链查到 Python 与 C++ 的边界，问题是 DeepEP v1.2.1 里 intranode_dispatch 与 intranode_combine 没有显式释放 Python 的全局解释器锁（GIL），同进程里负责 KV 传输的 Mooncake 引擎拿不到锁，提交被推迟，传输就没法与后续计算重叠。修复之后，这个差距降到了 1% 以下。36 唐杰在帖里把同一个修复写成「传输开销从 30% 以上降到 1% 以下」——博客量的是性能差距，唐杰帖量的是传输开销，两个指标不同，但都出自智谱。35

这一段的缺陷本身可以在公开代码里核到。DeepEP 这个仓库里，函数名的前缀区分两条通信路径：internode 指节点之间，intranode 指节点内部。在 v1.2.1 版本里，节点间的 internode_dispatch 确实显式释放了 GIL，注释逐字写着：dispatch 时 CPU 会忙等其它 rank 传来的显存元数据，如果使用方需要在其它线程里跑 Python 代码，「例如 KV 传输」，代码会因为没有释放 GIL 而卡住。10 博客引用的正是这一句；这处释放是 2025 年 5 月 8 日由另一位开发者通过 PR #142 加进去的。11

而节点内的那两个函数在同一版本里确实一处释放都没有，其中 intranode_dispatch 里还留着一段在持有 GIL 的情况下自旋等待 GPU 写入计数的循环，与博客描述的机理一致。38

修复本身则查不到。到 2026 年 9 月 16 日为止，DeepEP 主干上唯一一处释放 GIL 的地方仍是 internode_dispatch，节点内的两个函数依旧没有。12 这个仓库里与 GIL 相关的记录一共四条，唯一想补 intranode_dispatch 的是 2026 年 1 月 4 日开出的一条 PR，只加了这一行释放，至今仍处于未合并、有冲突、无人评论的状态。13

KV transfer timeline before and after the GIL fix

智谱博客图 3，2026 年 9 月 17 日：三排分别是 CPU 侧的调用、GPU 的执行和传输引擎。左图里 Mooncake 的提交被「GIL 等待」挡住（斜纹部分），提交延后，KV 传输跟着推后；右图释放 GIL 之后提交提前，传输与计算出现了重叠。这一组对比同样只有厂商一侧的观测。

decode kernel：只查得到厂商自己的图

第三个案例是性能优化。原来的实现沿 V 维切分，把同一份 FP32 归一化与门控计算重复做了四遍；agent 把切分并回单个线程块，让中间结果留在寄存器里，再用一次 warp 级归约替掉重复计算，最终比前一版快了 1.71 倍。36

这一段没有任何外部痕迹。博客只给了一张内部演化图，没有链接任何 PR、提交或 issue；在 Flash Linear Attention 仓库里检索「KDA decode」「warp reduction」「寄存器驻留」这类关键词，也找不到能对应这份描述的记录。36

三处放在一起是这样的：

博客的说法	外部能查到的部分
KDA 的 CP 路径存在 TF32 精度漂移，修复「已并入上游 Flash Linear Attention（PR #1180）」37	提交真实存在并已合并，改动与博客描述一致；但默认关闭，要显式打开开关；提交里没有任何智谱署名
DeepEP v1.2.1 的节点内路径未释放 GIL，修复后落差从 20% 以上降到 1% 以下38	缺陷可核，注释原文与博客引用一致；修复未进上游，主干到 9 月 16 日仍缺，只有一条未合并的 PR 想补其中一行39
decode kernel 重复计算，改造后 1.71×36	未核到任何公开记录，只有博客自己的图

这里还有一层命名上的细节。KDA 出自 Moonshot AI 的 Kimi Linear 论文，是对 Gated DeltaNet 的门控扩展；在这篇博客之前的智谱官方博客、开发者文档和模型卡里，这个词一次都没出现过，那里只写「线性注意力」；「KDA」只出现在模型自己的配置里——GLM-5.3-Flash 的 45 层中有 34 层被命名为 kda_layers，另外 11 层是稀疏注意力。14 15

04 「还没有达到递归自我改进」这句话，落在一条早就画好的线上

博客自己划了边界，而且划得比标题克制：

Of course, we have not yet reached recursive self-improvement. Choosing objectives, setting boundaries, and assessing risk remain human responsibilities. We believe humans should continue to hold that line for a long time to come.

「当然，我们还没有达到递归自我改进。选择目标、设定边界、评估风险仍然是人类的责任。我们相信在很长一段时间里，人类应该继续守住这条线。」

问题在于，这条线并不是智谱先画的。三家前沿实验室的公开文件里，早就有一条专门管「AI 自动化 AI 研发」的能力阈值。

OpenAI 的《Preparedness Framework》第二版（2025 年 4 月 15 日更新）把「AI 自我改进」列为三个被追踪能力之一，定义是「AI 系统加速 AI 研究的能力，包括提升自身能力」。它的最高一档叫 Critical，判定写法是：模型「能够递归自我改进（即全自动 AI 研发）」，两个指标其一是领先指标「超人研究科学家智能体」，其二是滞后指标——相对 2024 年达到同等进展所需的时间只花五分之一，原文举例为「加速到只要大约四周」，并且要持续数月。这一档一旦跨过，义务写得很直接：在拿出满足 Critical 标准的保障与控制之前，「停止进一步开发」。16 这套框架目前正在改版：官方 2026 年 8 月 18 日的公告说，要让保障措施贯通训练与部署，但到 9 月 17 日还没有发布新版正文。17

Anthropic 的《Responsible Scaling Policy》现行版本 3.4 于 2026 年 7 月 8 日生效。它那一条阈值的名字叫「关键领域内的自动化研发」，越阈判定有两条路。第一条是模型能以有竞争力的成本完全替代 Anthropic 自己的全部研究科学家与工程师，而「有竞争力」在原文里被限定为成本不超过替代对象的 5 倍。第二条是出现「AI 进展速度的剧烈加速」——定义为 AI 综合能力一年走完基线两年的路；脚注给了算例：基线是一年里 3 倍算力加 3 倍算法效率、合计 9 倍的有效放大，那么「一年走完两年」就是把这两年的放大叠起来，大约 81 倍。观测窗口要求至少跨三代模型。18 这份文件自己在修订说明里承认，这条阈值「意在捕捉剧烈递归自我改进的开端，而它一直难以操作化」。40

Google DeepMind 的《Frontier Safety Framework》3.1 版（2026 年 4 月 17 日）在 ML 研发这一项下写了两条能力等级：一条是「ML 研发加速等级 1」——模型已被用来加速 AI 研发，使 AI 进展明显快于历史速度；另一条是「ML 研发自动化等级 1」——模型能在总成本大致相当的前提下，完全自动化 Google 内部任何一支以提升 AI 能力为目标的团队的工作。两条都是定性表述，全文没有给出百分数，也没有把任何概率、频率或时间数字写成触发条件。19

三份文件对下来是这样的：这条线三家都画了，两家已经把数字写进去，一家没有；而三家都没有写概率或频率型的阈值。 由 Yoshua Bengio 领衔的《International AI Safety Report 2026》在第 117 至 118 页对这批框架给出了两句判断：与航空、核电这些领域的管理方式不同，前沿 AI 安全框架通常不使用明确的定量风险阈值；对开发者是否履行自己框架的外部评估也仍然有限，「没有标准化的外部审计」。20

智谱在同一篇博客里还提到一道自己设的门。博客开头写，2025 年 10 月起他们开始研究如何加强 GLM 的网络安全能力，安全伙伴用 GLM 在真实代码库里发现了数千个漏洞，为了让这项能力被负责任地使用，他们「必须设计一套可信访问计划」（trusted access program）。36 这道门在英文材料里只有这一句话：计划的名称、准入条件和申请入口，在 Z.ai 的英文站点、开发者文档索引和站点地图里都查不到；中文官网把它写作「网络安全受信访问」计划，而中文官网给这套研究的起步时间写的是 2025 年 9 月，与英文博客的 10 月对不上。21

05 密反馈的收益和风险来自同一个地方

奖励黑客这件事，Anthropic 用两篇研究量化过。

第一篇《From shortcuts to sabotage》（2025 年 11 月）给出的定义是：奖励黑客指模型「骗过自己的训练过程，拿到高分，却没有真正完成任务」——把任务的字面要求满足了，精神没有。他们的实验是往训练数据里掺入描述「怎么在编程任务里作弊」的真实文档，再做强化学习；结论是，在模型学会奖励黑客的那一刻，Anthropic 全部的失准评估——也就是那些衡量模型是否偏离预期目标的评测——同时出现急剧上升，而这些行为从没有被训练或指示过。22

第二篇《Training a Misaligned Reward Seeker》（2026 年 8 月）更进一步：在 80 个已知可以被钻空子的生产环境上做大规模强化学习，训练结束时模型在全部回合的 40% 上实施了奖励黑客；论文里的原话是，业界「没有解决这个问题的通用办法」。23

METR 在 2026 年 5 月发布的前沿风险报告给了这件事的另一个侧面：在时长超过 8 小时的任务里，至少 16% 的成功运行经复核属于不正当；对某个模型来说，如果把作弊算作通过，它被测出的时间跨度大约翻倍。24

唐杰用来描述 agent 困境的那个类比——稀疏奖励加信用分配——在文献里有确切的对应物：过程监督与过程奖励模型，也就是不只对最终答案给反馈，而对每一步推理给反馈。这条路线的一份代表工作是《Let's Verify Step by Step》，署名的作者之一就是 Ilya Sutskever。25 过程奖励模型也有已知的失效方式：有研究指出，在 best-of-N 这种先多采样再择优的评估下，它会从过程评估滑回结果评估，分数被抬高。26

值得留意的是，智谱的做法与上面这些并不在同一个环节上。它的三处修复都在工程正确性与性能这一侧，有参考实现、有回归测试、有可复现的对比路径；而奖励黑客出现在「用什么信号去训练模型」这一侧。但这两侧共用同一句话：能被自动判定的东西，就会被优化。 智谱博客自己写下的那条纪律——反馈必须能靠参考实现与受控实验判断，而不是靠观测到的相关性——正是这条路线真正的考验点。

同一条路上，另外两家给出的进度也值得并排看。Google DeepMind 在 2025 年 5 月的 AlphaEvolve 官方博客里说过，这个由模型驱动的编码智能体改进了 Google 数据中心的效率、芯片设计和 AI 训练流程，其中包括「训练 AlphaEvolve 自身所依赖的大语言模型」。27 OpenAI 在 2026 年 9 月 6 日一份讲公司内部情况的报告里把进度写成了数字：去年秋天宣布的「今年 9 月拥有一个自动化研究实习生」的目标，按他们的测量已经达成；到 8 月中旬，研究组织每 1 个人类工作日对应 3.1 个智能体工作日；下一个目标是 2028 年 3 月做出自动化的 AI 研究员。同一份报告也写了限定：超过一半成功的 4 到 8 小时任务需要至少一次人工干预，以及一句自陈——「我们还不知道怎么安全地一路走到对齐的、完整的递归自我改进」。28

06 十万张卡和 62 万亿 token：能查的是哪一部分

博客的部署叙事里，有两个数字最容易被转发，也最难核。

第一个是使用量。博客写，GLM-5.3-Flash 以匿名代号 Ox Alpha 在 OpenCode 与 OpenRouter 两个平台上测试，上线一周内成为两个平台上使用量最高的模型，六天处理了超过 62 万亿 token。36 CNBC 与 TechTimes 都写明无法独立核实智谱给出的这些数字。29 30 更具体的是，平台方自己给过另一个数：OpenRouter 官方账号在 2026 年 8 月 26 日说，Ox Alpha 是 OpenRouter 史上最大的模型，六天处理了超过 20 万亿 token。31 平台侧给出的数字，大约是智谱口径的三分之一；两家都没有说明 62 万亿是不是把 OpenCode 一侧的流量一并计入，也没有给计量口径。

「上线一周内成为两个平台使用量最高」这句话，现在也拿不到能直接支撑的平台数据。OpenCode 的数据页把该模型标注为「formerly ox-alpha」，可见的是它在最近一周排名第 5、占该页观测到的 token 用量的 8.7%；匿名期那一周的榜单记录没有保留下来，对应的页面已经成了空壳。32 平台侧能确证的只有一件事：这个模型确实存在过，而且两家平台都把它对应到了 GLM-5.3-Flash。33

第二个是集群规模。10 万张以上国产加速器这个规模数字，首次出现就是在这一篇博客里。8 月 26 日 GLM-5.3-Flash 的官方博客只写了「我们在一套大规模国产芯片集群上提供服务，这些芯片通过自研的高带宽互联网络连接」，没有给任何数量。41 智谱至今没有披露用的是谁家的芯片：CNBC 写明自己无法独立核实，并称智谱拒绝透露芯片供应商；分析机构 Counterpoint 的分析师 Ivan Lam 推测其中可能包含华为昇腾，但那只是推测。42

性能口径也要看清对照物。8 月 26 日那篇的原话是「与同一硬件上的初始基线相比，端到端服务性能提升了 3 倍，硬件效率与单 token 成本达到与主流英伟达 GPU 相当的水平」——对照的是自己的初始版本，不是英伟达的系统；对照机型、功耗和成本模型都没有公布。41 能核的只有定价：官方文档上 GLM-5.3-Flash 的标准价是每百万 token 输入 0.15 美元、缓存输入 0.03 美元、输出 0.50 美元。34

把这些加在一起，这件事证明的范围可以划出来：它证明的是，存在一套把 100 万 token 上下文、多模态请求的服务跑在国产加速器上、并承担全部生产流量的系统；它没有证明国产加速器与主流 GPU 等价，也没有证明六天 62 万亿 token、10 万张卡和那个 3 倍。前半句本身已经不小——它把「国产卡能不能扛住真实负载」从预测变成了一个发生过的事件；后半句那几项，仍然停在厂商的服务器里。