2026-08-15

8月16日 CUDA 与 AI 系统加速速览：DARTree 9.73×、DrEM 评论 +1.388%与 FlashInfer FP8/MoE 修订

本期聚焦 FlashInfer RC2 的 kernel 覆盖窗口、DARTree 推测解码、FSGR 的生成式推荐公平性与 DrEM 的线上抗噪排序，标出性能数字、适用边界和最小验证动作。

今天最值得先看的，是几个「性能数字不能脱离运行形状」的例子：FlashInfer 的新预发布版带来一批 SM90/SM120、FP8/NVFP4 和 MoE kernel 改动，但 release 页面没有给端到端 benchmark；DARTree 把草稿树带来的加速做到了 9.73×，前提却是单卡、低并发和可用的扩散草稿器。推荐系统的两篇工作则把指标拆成了两种更容易落地的信号：FSGR 看离线曝光公平性，DrEM 看带真实流量的排序 A/B。1 2 3 4 5

快速判断

分组	更新	已报告结果	适用场景	先验证什么	行动窗口
CUDA / kernel 工具链	FlashInfer v0.6.18rc2：SM90/SM120 attention、FP8/NVFP4 与 MoE 路径连续修订	release 未报告端到端吞吐；官方比较记录显示 rc1 到 rc2 有 72 个提交 2	正在跟进 Hopper/Blackwell kernel 覆盖，或要评估预发布版兼容性	固定 CUDA、编译器、GPU 和输入形状，做编译、正确性、kernel latency 三组对照	先在 staging 做候选版回归，不要用版本号推算加速
推理解码	DARTree：把自回归修正头扩展到扩散草稿树	Qwen3-4B、贪心温度下最高 9.73×；每轮接受 12.97 tokens 6	batch 小、并发低、解码偏 memory-bound，且已有兼容的 diffusion drafter	先复现 AR、DFlash、Domino，再扫并发度与树宽度	适合做单卡原型；高并发要单独调预算
生成式推荐	FSGR：平衡 Semantic ID codebook，再做分层频率校准	三个 Amazon 子集、三种 backbone 上平均 Gini 公平性提升超过 20%，Recall/NDCG 保持竞争力 4	SID（语义 ID）生成推荐里，热门 token 过曝、长尾 token 欠曝	同时看 token Gini、codebook Coverage、Recall@K 和 NDCG@K	先做离线消融；公平性收益尚不是线上业务收益
推荐排序	DrEM：同时修正 pxtr 监督噪声和特征噪声	7 天线上 A/B、5.1% 流量；EMER backbone 的 Comment +1.388%，EASQ 为 +0.178%，均报告 `p<0.005` 7	多任务模型输出的用户偏好预测会同时进入训练标签和排序特征	先测输入扰动下 GAUC，再分开做 supervision-side 与 feature-side 消融	需要拿到上游 pxtr；没有这类信号时不能直接照搬

CUDA / kernel 工具链：RC2 更像兼容性窗口

FlashInfer 的 v0.6.18rc2 是预发布候选版。release 页面只显示 tag 和发布时间，没有给出一组可以直接引用的端到端性能表。官方比较记录显示，rc1 到 rc2 之间包含 72 个提交，改动集中在 attention、MoE、量化和构建路径。1 2

从提交内容看，这一版至少值得关注四条路径：SM120 的 FP8 FMHA v2 self-attention、SM90 的 FP8 KV NoPE MLA、面向 packed input 的 CuTe decode kernel，以及 SM120 的块稀疏 VSA backend。MoE 侧同时出现了 TRTLLM fused MoE 的 unpacked FP8 per-tensor scaling、SM107 的 CUTLASS NVFP4 SVDQuant 和 CuTe DSL epilogue 优化。8 9 10 11

这类更新的价值首先是覆盖面和可用性，而不是一个尚未公布的加速比。验证时把 rc1 和 rc2 放在同一容器与同一 GPU 上，至少保留三层对照：能否编译，输出是否逐项一致，代表性 shape 下的 kernel latency 是否回归。长 q_len 的 FMHA reduction indexing 修复也应加入回归集，尤其是已有自定义 attention backend 的服务。12

推理解码：DARTree 的 9.73×要先过并发门槛

DARTree 处理的是 speculative decoding（推测解码）：小草稿器先提出多个 token，目标模型并行验证，接受的前缀越长，每次验证推进的 token 就越多。它没有重新训练新的树模型，而是把已有扩散草稿器的自回归修正头，从一条草稿链扩展到多条分支；每一层先批量打分，再延迟剪枝，避免在生成过程中反复做串行 heap 操作。3 6

论文在 Qwen3-4B、Qwen3-8B 上测试了 GSM8K、MATH-500、AIME25、HumanEval、MBPP、MT-Bench 和 Alpaca。默认配置是每个位置取 K=64 个候选，目标验证预算 B=64，batch size 1，单张 NVIDIA RTX 6000 Ada，最多生成 2048 tokens。Qwen3-4B 在 GSM8K、温度 0 的 DARTree pruned 结果为每轮接受 12.97 tokens，报告的 speedup 是相对本地测得的 vanilla AR 解码。6

并发实验说明了这个数字的边界：Qwen3-4B、GSM8K、温度 0 下，DARTree 自适应预算在并发 2 时是 987.5 completion-token TPS、相对 AR 为 6.19×；并发升到 32 时是 3701.5 TPS、2.25×。固定大树在高并发时收益明显收窄，论文因此建议随负载调整验证预算 B 和树宽 W。这些结果仍然是在单张 RTX 6000 Ada、SGLang BF16、端到端请求 wall-clock 口径下测得。6

所以最小验证不是把 9.73× 写进服务配置，而是复现三条基线，再把并发度从 1 扫到目标值。低并发、解码受显存带宽限制且算力没有吃满时，额外的草稿与树验证开销可能换来更短的单请求延迟；并发升高后，batch 解码更接近 compute-bound，树验证成本会吞掉收益。DARTree 还依赖带 causal correction head 的预训练 diffusion drafter，不能把「training-free」理解成任意草稿器开箱即用。6

生成式推荐：FSGR 把公平性落到 token 分布

Semantic ID（语义 ID）生成推荐会把 item 表示成多层离散 token，再让生成模型预测这串 token。FSGR 指出，热门 SID token 容易被模型过度预测，低频 token 则曝光不足；问题同时来自 SID codebook 不均衡、流行度偏差和自回归训练的最大似然目标。它的做法分两段：先用 OT-based assignment optimization 和 Dual-Criteria Re-anchor 平衡 SID 表示空间，再用 Hierarchical Frequency Calibration 按层校准生成 logits。4 13

实验使用 Amazon Reviews 的 Luxury Beauty、Industrial and Scientific、Software 三个子集，比较 TIGER、Llama3.1-8B 和 Qwen3-8B；过滤掉少于 5 次交互的用户和 item，序列最长 20，实验硬件是 NVIDIA RTX A6000。推荐质量看 Recall 和 NDCG，公平性看生成 SID token 频率的 Gini coefficient，Gini 越低表示 token 曝光越均衡。13

Qwen3-8B 的完整 FSGR 在 Beauty、Industrial、Software 上的 G@10 分别为 0.5128、0.4203、0.7127；对应的 R@10 是 0.3521、0.0971、0.2639。论文摘要给出的总体判断是，三个数据集和三种 backbone 上平均 Gini 公平性提升超过 20%，同时保持有竞争力的 Recall/NDCG。这里的收益是离线 token exposure 信号，不能直接翻译成点击率或收入提升。4 13

如果系统已经使用 SID 生成推荐，第一步可以把线上生成结果按 token 层级统计：看 codebook Coverage、Gini、Recall@K、NDCG@K 是否同时变化，再做 BSQ（balanced semantic quantization）和 HFC 的单独消融。FSGR 的公平性目标会与排序质量发生局部 trade-off，先确认长尾 item 曝光改善是否伴随可接受的准确率变化，再决定是否进入线上实验。

推荐排序：DrEM 处理的是上游 pxtr 的两次污染

DrEM 面向多阶段视频推荐里的 ensemble ranking。上游多任务模型输出的 pxtr（用户偏好预测特征）一方面被当作排序输入，另一方面被拿来构造 proxy preference；预测噪声因此会同时污染输入特征和训练监督。DrEM 用 risk-denoising robust loss 修正偏好翻转带来的错误梯度，再用 preference-preserving consistency regularizer 稳定特征侧输出。5 7

离线实验基于一个拥有数亿日活用户的工业短视频平台，使用 EMER 和 EASQ 两个 ensemble-ranking backbone。研究者给输入 pxtr 注入高斯扰动，α=0.5/1.0/2.0 分别代表轻、中、重噪声，再用 GAUC 衡量排序相对未扰动 pxtr 顺序的稳定性。公开短视频数据集没有上游 pxtr，所以这项方法无法只靠常见的公开点击数据复现。7

线上实验运行 7 天，按用户 hash 分流，实验组占主流量 5.1%。在 EMER 上，Video View +0.691%、Follow +1.197%、Comment +1.388%；在 EASQ 上，三项分别为 +0.117%、+0.460%、+0.178%，论文报告所有改进的 p<0.005。EMER 上的增幅更大，和论文的解释一致：EASQ 已经通过 questionnaire-signal alignment 部分削弱了监督噪声，DrEM 的可提升空间更小。7

工程上可以先做一个离线噪声扫描：保留 Base、只做 supervision-side、只做 feature-side、双侧 DrEM 四组，观察 GAUC 随 α 增大时谁先掉。若上游 pxtr 分布会因模型版本或人群变化而漂移，再把线上实验的 guardrail 放在 LT7、停留时长和稀疏互动上，而不是只看整体 AUC。DrEM 的线上数字来自特定平台、流量切分和两个生产 backbone，接入其他推荐链路前需要重新估计噪声分布。7

按系统形状排验证

要升级 kernel 库： 先把 FlashInfer RC2 当作覆盖与兼容性候选版，固定环境跑 correctness 和 latency 回归；当前来源没有给出可直接迁移的端到端 speedup。
要压低单请求解码延迟： 只有在低并发、已有兼容 diffusion drafter 时，才把 DARTree 放进原型；并发扫描必须与树宽、验证预算一起做。
要治理生成式推荐的长尾曝光： 复现 FSGR 的 token-level Gini、Coverage、Recall/NDCG 消融，先确认公平性变化没有掩盖排序质量损失。
要稳定多任务推荐排序： 如果链路里确实有 pxtr，先做 DrEM 的双侧噪声消融，再用小流量 A/B 验证稀疏互动和长期指标。

References

1
FlashInfer v0.6.18rc2github.com
2
FlashInfer rc1 到 rc2 的官方比较记录api.github.com
3
DARTree 摘要arxiv.org
4
FSGR 摘要arxiv.org
5
DrEM 摘要arxiv.org
6
DARTree 实验表arxiv.org
7
DrEM 线上 A/B 表arxiv.org
8
FlashInfer SM120 FP8 FMHA v2github.com
9
FlashInfer SM90 FP8 KV NoPE MLAgithub.com
10
FlashInfer packed-input CuTe decode kernelgithub.com
11
FlashInfer FP8 per-tensor scaling 与 MoE 改动github.com
12
FlashInfer 长 q_len reduction 修复github.com
13
FSGR 的方法与频率校准arxiv.org

CUDA 与 AI 系统加速日报

面向工程与算法读者的日报频道，追踪 CUDA、GPU、性能加速、AI 编译器优化，以及推荐模型与推荐系统相关进展。

This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.