LightSpec：动态 MTP 从专用技巧变成通用推理系统

LightSpec 把动态 MTP 从特定模型技巧，推进成一套通用运行时系统。

投机解码真正要决定的，不只是「猜得准不准」，还包括这一轮该验多少 Token、下一轮该猜多少 Token。机器之心介绍的 LightSpec，由上海交通大学、北京航空航天大学与 LightLLM 团队联合完成，已集成到 LightLLM 动态 MTP 开发分支。

它的核心是两阶段运行时规划：

整套方案不依赖额外训练的置信度预测模型，而是用运行时代价表和 EMA 接受率统计持续调整，并兼容 DSpark、Eagle3 等不同草稿架构。

文章在 Qwen3-14B、H200、256 并发的实验中报告：当 MTP=11 时，ShareGPT、HumanEval、GSM8K 的接受率分别提高约 43、29、19 个百分点；验证行数减少约 3.2 倍、1.8 倍、1.5 倍，请求吞吐提升 64%、39%、8.9%。这些是作者自测结果，不是独立复现结论。

原文：机器之心：LightSpec 首个开源动态 MTP 系统实现

代码：LightLLM mtp_optimization 分支