8月14日 CUDA 与 AI 系统加速速览：MoE 训练吞吐 +14.89%、GPU-side 控制最高 2.39×

本期的共同线索是：GPU 加速的瓶颈越来越常出现在「怎么组织工作」上。MoE 训练要同时处理 attention 长度和 expert 路由；Agent 控制要同时处理 cohort 供给和 host 往返；推荐模型则要把协同信号或强化学习的训练信号接回生成过程。下面的数字来自不同论文、硬件和工作负载，不能横向相加。

MoE 强化学习训练同时有两种负载：序列长度决定 dense attention 工作量，token 路由决定 expert-parallel rank 上的稀疏工作量。RoutePack 利用 rollout 阶段已经产生的 routing replay，先按层放置 expert，再把样本装入受 token 上限约束的 execution rows。它优化的对象是整个 optimizer-step window 的最慢 EDP shard（训练并行分片），而不是某一行的平均 token 数。7

论文在 Ling-3.0-Tiny 和 Ling-3.0-Flash 上报告，单做 expert rerouting 后，trainer token throughput 分别提升 3.80% 和 10.50%；再加入 routing-aware packing，额外提升 4.86% 和 3.98%，合计相对 baseline 提升 8.85% 和 14.89%。这两个增量不能换算成通用 GPU 利用率收益：结果依赖模型、DP/EP 拓扑和 rollout routing 分布。7

最小验证动作：在训练前固定一个 optimizer-step batch，记录每个样本的序列长度、每层 expert demand、token cap 和 communicator topology。先做「原始 placement」「只改 placement」「只改 packing」「两者联合」四组 replay，观察 trainer token throughput、EP peak 和最慢 shard 的 step time。不要为了降低峰值随意增加 row 数，因为 row 数变化会反过来改变 step 的总工作量。7

Ready Cohorts 研究的是 agent 在模型调用和工具调用之间反复执行的小型确定性状态转移：路由结果、更新状态、发出下一步 effect。论文把可并行机会拆成四个量：固定窗口能形成的份额 F、离线最优 packing 的份额 P*、局部 overlap 上界 U，以及真正在线取得的份额 A。其中 A 尚未被这项研究测量，所以 P* 不能直接当成线上吞吐。8

在 100,000 个目标 active sessions、K=256、50 ms latest admissible launch deadline 的主实验格点上，固定分区得到 F=30.19%，精确 packing 得到 P*=43.00%，局部上界为 U=45.85%。这说明 deadline-aware packing 回收了固定窗口跨边界损失的一部分；但论文使用的是 851 个 session 的公开 trace replay，并采用零 service time、无限并发容量等假设，结果还不是生产 SLO。8

另一组机制实验更适合直接移植到 CUDA 代码：GPU 已经算出的二元 route decision 留在 device，避免复制 4 字节结果回 host 后再 redispatch。四个平台、36 个配置中，device-resident path 全部更快，行中位数比值为 1.19×–2.39×；两种可接受机制的 14,557,440 次 batched invocation 都与独立 host oracle 一致。这里的收益来自去掉 host decision round trip，而不是简单套上一个 device graph。8

最小验证动作：对同一批 route trace 同时测 host-mediated、device-resident 和 no-decision floor 三条路径，并记录 batch size、epoch 数、GPU 型号、median/p99 latency 和完整 decision trace。只有当线上补齐有限 service time、CPU fallback 与任务完成 SLO 后，才值得把离线 P* 接到容量规划里。8

一篇新的 OpenMP Offloading 研究用 3D heat transfer 作为案例，对比 NVIDIA H100、AMD MI250X 和 Intel Data Center GPU Max 1550，并分别与 CUDA、HIP、SYCL 实现比较。测试包含核心计算、halo computation 和 halo communication，网格规模为 512^3 到 1280^3，固定 500 个时间步。9

论文报告，相比单 GPU OpenMP Offloading，2 GPU 约有 2×、4 GPU 约有 4× 的性能提升。实现对比也显示，单 host thread 的同步路径会走 GPU → host → GPU，而多 host thread 加异步传输、再到 GPU-to-GPU P2P，才逐步获得通信与计算重叠。这个结果支持的工程动作很具体：跨平台抽象可以保留，但 halo 路径、异步语义、P2P 可用性和编译器版本仍必须逐平台测量。9

适用边界：这是一项 3D 热方程案例研究，不能把 2×/4× 当成任意多 GPU 程序的扩展曲线。若你的 kernel 计算量小、halo 比例高或 P2P 不可用，通信可能吞掉更多扩展收益。验证时至少保留单 GPU、同步多 GPU、异步多 GPU 和 P2P 多 GPU 四组对照。9

GALLM 处理的是顺序推荐里一个常见缺口：LLM 能读懂 item 文本，却未必能从用户—物品交互中恢复全局协同关系。它构造 Text–Text、Item–Text 和 Item–Item 三类关系，把这些关系转成轻量 attention bias，直接加进 LLM 的注意力计算，不再额外引入一个图编码器。论文在 Toys、Clothing、Book 和 MovieLens 四个数据集上，以 LLaMA-3.2-3B 为 backbone，并与 SASRec、LightGCN、BIGRec、LLMRec 等方法比较。10

GALLM 在四个数据集上都超过对比基线；作者报告 HR@5 平均提升 9.76%、NDCG@5 平均提升 7.62%，单项 HR@5 最高提升 16.30%。这些是离线顺序推荐指标，不是线上点击率或收入提升。落地时更值得先做的不是复刻完整模型，而是检查 Item–Item 共现图的时间泄漏、长尾 item 的图覆盖率，以及加入 attention bias 后的训练和 serving 成本。10

HCGRec 关注另一个断点：semantic-ID 生成式推荐做 reward post-training 时，模型可能在第一个语义 token 就走进错误分支，有限 rollout 很难生成正确 item，于是整组样本得到相同的零奖励。它只对当前 generator 无法到达的样本加入最短 target-prefix hint，再用监督学习维护 hinted prefix 的语义对齐，用 GRPO 优化模型真正采样的 suffix。论文报告 zero-advantage training samples 从 70% 以上降到 20% 以下。11

最小验证动作：先按 checkpoint rollout 统计「正确 item 是否在当前 budget 内可达」，再分别比较无 hint、全量 hint 和只对 unreachable 样本 hint。指标至少拆成 zero-advantage 比例、HR/NDCG、rollout token 数和训练 wall time；不要把减少无效样本直接等同于线上推荐收益。论文明确把 hint 限定在训练阶段，推理时不增加额外输入。11

长对话 agent 的 memory 系统也给 serving 优化提了一个提醒：对话长度和每轮 token 数不足以预测真实成本。该 benchmark 比较 Mem0、Hindsight、Mastra Observational Memory，以及 rolling window 和 full transcript 两个基线；对话最长 400 轮，并在 665 个 LoCoMo 问题上同时测回答准确率。12

只用消息大小和对话深度建模时，三个 memory 系统的交叉验证 MAPE 为 18.4%–68.5%，而 full history 和 rolling window 基线为 2.9%–6.5%。准确率约为 21%–54%，且没有一个系统同时在成本和准确率上占优。break-even 也高度依赖系统、backbone、对话长度和消息大小：论文示例中，Mem0 在第 82 轮才超过 full transcript 的累计成本优势，Hindsight 到第 356 轮，另一些条件下甚至在 400 轮内都没有达到 break-even。12

最小验证动作：把 memory ingest、检索、压缩、重写和最终回答拆成独立计时段，按 backbone、reasoning effort、对话轮数和 message size 做网格测试。容量规划里应保存实际 memory state 和 pipeline counters，不能只用上下文长度乘以单价估算。

本期最值得先落地的动作有三个：MoE 训练先把 routing replay 接到 placement 与 packing；Agent 控制先消除可验证的 host decision round trip；推荐 serving 则先把离线指标、训练信号和真实流量 holdout 分开。每个数字都只在自己的硬件、数据和并行拓扑里成立，复现条件比 headline 更重要。