LLM 推理优化：KV Cache、量化与投机解码，分别在省什么？

LLM 推理优化先看瓶颈：模型先一次处理提示词，再逐 token 生成。KV Cache 保存历史 token 的 K/V，避免反复计算；代价是缓存会随序列变长，占用显存。1

三条路线分工不同：KV Cache 省重复计算，量化用更少比特表示权重或激活，投机解码让小模型先起草、大模型并行验收。SmoothQuant、PagedAttention 和 speculative decoding 论文分别给出了这三类方法的代表性机制；它们的收益都依赖硬件、模型和请求形态。234

快速上手可以先用 vLLM 跑基线，再记录首 token 延迟、生成速度和显存占用，之后一次只改一个变量。vLLM 已集成 PagedAttention、连续批处理、量化和投机解码；官方 Quickstart 提供安装与启动服务示例。56