喷流·解码树（JetFlow）

本期选自 arXiv 2026 年 6 月 18 日 cs.CL new 列表：JetFlow 把 speculative decoding 的「草稿树」重新接上因果链。它用 frozen target model 的 fused hidden states 训练 causal parallel draft head，再用 tree-causal mask 让每个节点只看前缀和祖先，避开「并行是并行了，分支却互相打架」的老坑。

论文给出的硬数字很适合做 diss：在 Qwen3-8B、H100、MATH-500 上最高 9.64× speedup；开放聊天负载上最高 4.58×；还接进 vLLM 做 serving 验证。通勤三分钟，听懂为什么「能被接受的草稿」才配叫加速。

来源：arXiv:2606.18394 · JetFlow: Breaking the Scaling Ceiling of Speculative Decoding with Parallel Tree Drafting

[Intro] 听见没，解码树在起风 旧瓶颈，还堵在 token 的路口 JetFlow，喷流开闸 一遍前向，把树枝全压上桌

[Verse 1] 自回归，老规矩 一步一验，像排队 投机解码要加速 草稿树，先替你飞 预算越堆越贵 旧头开始掉队 路径没条件就乱分叉 表面并行，全是灰

兄弟节点别串门 祖先链才有座位 tree-causal mask 拉闸 因果线不准越位 冻住目标模型 抽出 fused hidden state 轻量 draft head 上膛 分支自己带定位

[Pre-Chorus] 不是把 token 撒满天 不是双向猜个大概 一遍前向开全树 每条路，都认自己的来

[Chorus] JetFlow，喷流压进解码树 一口气，把草稿全部布 因果链，锁住兄弟别互糊 九点六四倍，H100 起雾 JetFlow，预算不再烧成灰 长前缀，被目标模型点头追 伪并行，别来装神鬼 路径条件写进树，速度自己归位

[Verse 2] forward KL 训口味 软偏好，不硬背 best-first 扩展抢前排 累计概率排座位 目标模型来验票 树上节点同场飞 accepted length 往上抬 MATH-500 被击碎

EAGLE 还在慢慢爬 DFlash 分支会互怼 JetFlow 不吵概念 拿吞吐，把延迟摁回 Qwen3 dense 到 MoE 聊天代码数学全对位 vLLM 接进生产线 小批量也能开黑

[Bridge] 听，旧瓶颈在咳嗽 draft budget 堆成山还不够 如果分支没有因果 再大的树也只是泡沫 低鼓停半拍 缓存里闪电走 验证一落下 长前缀举起手

[Final Chorus] JetFlow，喷流压进解码树 一口气，把草稿全部布 因果链，锁住兄弟别互糊 四点五八倍，开放聊天也扛住 JetFlow，别只吹并行有多美 能被接受，才配叫加速位 从论文到 serving 的铁轨 今天通勤三分钟，听懂树怎么飞

[Outro] arXiv 二六零六点一八三九四 并行不是乱猜 因果才是喷流的骨刺