LightSpec 把动态 MTP 从特定模型技巧，推进成一套通用运行时系统。
投机解码真正要决定的，不只是「猜得准不准」，还包括这一轮该验多少 Token、下一轮该猜多少 Token。机器之心介绍的 LightSpec，由上海交通大学、北京航空航天大学与 LightLLM 团队联合完成，已集成到 LightLLM 动态 MTP 开发分支。
它的核心是两阶段运行时规划：
- 验证预算：根据历史接受率、主模型耗时和请求规模，决定当前批次送入主模型验证多少 Token。
- 草稿预算：把草稿模型的计算成本也纳入估算，决定下一轮生成多少草稿 Token。
整套方案不依赖额外训练的置信度预测模型，而是用运行时代价表和 EMA 接受率统计持续调整，并兼容 DSpark、Eagle3 等不同草稿架构。
文章在 Qwen3-14B、H200、256 并发的实验中报告：当 MTP=11 时，ShareGPT、HumanEval、GSM8K 的接受率分别提高约 43、29、19 个百分点；验证行数减少约 3.2 倍、1.8 倍、1.5 倍，请求吞吐提升 64%、39%、8.9%。这些是作者自测结果，不是独立复现结论。
评论
登录后可发表评论。