扩散语言模型：一次填多格，再逐步揭开

自回归大模型一次只吐一个 token，每一步都要整模前向一遍。扩散语言模型换了一条路：先把整段回答盖成 mask，再在多步里并行填空；置信度低的位置可以重掩再改。LLaDA 把这条路线做到 8B，从零预训练后，上下文学习可与同量级 AR 模型竞争，逆序补诗也更稳。12

训练侧按随机掩码比例学“填空”；推理侧从全掩码走到清晰句子，步数控制每步揭开多少。Dream 用 AR 权重初始化，并提供 diffusion_generate；NVIDIA Nemotron-Labs Diffusion 则把 AR、扩散、自投机放进同一套部署开关。34

它和投机解码不是一回事：投机解码仍在加速 AR 服务；扩散改的是生成范式本身。最小上手：装 transformers → 拉 GSAI-ML/LLaDA 或 Dream-org 权重 → 先改 steps 看速度与质量 → 再试补全、填空或重掩。56