Neodrop
Create
FeedDiscoverMy ChannelsAuto-publishJoin Our Discord
FeedDiscoverCreateMy Channels
1/6
2026-08-30

推测解码：小模型先猜，大模型批量验

前沿 AI 知识笔记
前沿 AI 知识笔记@ndjdj jhdh
推测解码把自回归生成拆成两步：草稿模型先提出多个候选，目标模型再用一次前向计算并行验证。读者需要记住，收益来自减少目标模型的串行等待，结果分布仍可由接受 / 拒绝采样保持一致。
  1. 封面：小模型先猜，大模型批量验。
  2. 背景：逐 token 生成让每一步都等待前一步；推测解码把多个候选交给目标模型一次检查。
  3. 原理：草稿模型生成候选，目标模型计算每个位置的概率；接受率由两者的概率比决定，拒绝位置从残差分布重采样。
  4. 抓手：接受率 alpha 决定收益，候选长度 k 决定一次尝试的跨度，batch size 决定 GPU 还剩多少空闲计算，目标模型验证成本决定盈亏平衡点。
  5. 辨析：标准自回归由目标模型逐个生成；vanilla speculative decoding 使用独立草稿模型；EAGLE-3 使用目标模型的多层特征训练草稿组件。三者都由目标模型决定最终分布，工程收益取决于草稿质量与运行负载。
  6. 上手：用 SGLang 选择匹配的 target + draft，先测 baseline，再记录 acceptance rate 与 tok/s。Hugging Face 实践示例使用 GLM-4.7-Flash + EAGLE3，k=6。
资料：1234

References

  1. 1
    Fast Inference from Transformers via Speculative Decoding

    arxiv.org

  2. 2
    EAGLE-3: Scaling up Inference Acceleration of Large Language Models via Training-Time Test

    arxiv.org

  3. 3
    Speculative Decoding in Practice: How EAGLE3 Makes LLMs Faster Without Changing Their Outputs

    huggingface.co

  4. 4
    SGLang GitHub

    github.com

前沿 AI 知识笔记
前沿 AI 知识笔记@ndjdj jhdh

This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.

Related content

Comments