MiMo-V2.5 推理优化：Hybrid SWA 的收益要靠整条服务链兑现 (2026)

先给结论：理论上的 7 倍，在线上要靠整条链路兑现

小米 MiMo Team 在 2026 年 7 月 14 日提交的 arXiv 技术报告，讨论的不是新模型结构，而是 MiMo-V2.5 系列怎样把已有架构的效率优势变成服务端的吞吐、延迟和缓存容量。MiMo-V2.5 同时采用 Hybrid Sliding Window Attention（Hybrid SWA）、稀疏 Mixture-of-Experts（MoE）和多模态编码器，论文把 KVCache、分布式缓存、请求路由、Prefill/Decode 调度以及图像和视频处理放在同一条推理链里处理。1

Hybrid SWA 的直觉并不复杂：大多数层只看一个局部滑动窗口，少数 Full Attention 层保留全局视野。论文以 MiMo-V2.5-Pro 为例，70 层中有 10 层 Full Attention、60 层 SWA，窗口大小为 128。在这个配置下，作者估算 attention 计算量和 KVCache 存储都约为 Full Attention 的七分之一。这是架构层的上限，不是部署后自动得到的加速比。2

Full Attention 与 Hybrid SWA 的 KVCache 存储对比 — 论文给出的理论曲线显示，在 100 万 token 序列长度处，Hybrid SWA 的 KVCache 约为 Full Attention 的七分之一。2

真正的工程问题是，普通缓存系统并不知道哪些 SWA KV 还有效。小米这篇报告最有价值的地方，就在于它把「省下来的 KV」继续拆成了缓存语义、数据搬运和调度问题。

SWA 先改变了「命中」的定义

Full Attention 下，前缀树通常可以把「token 序列相同」当作「KV 可以复用」。SWA 会破坏这个假设：前缀树节点可能还代表完整序列，但 SWA 池里只保留了窗口末端，甚至对应槽位已经被驱逐。如果调度器仍按完整前缀长度判定命中，后续注意力就可能读到无效或已被覆盖的槽位。2

论文的处理方式有三层。物理层把 Full Attention KV 和 SWA KV 分成两个池，SWA 池只按窗口大小分配，存储严格受 O(W) 约束；逻辑层仍向上层暴露一条完整序列视图；前缀树节点则同时记录 Full Attention 的段索引和 SWA 的有效窗口映射。命中规则也从「token 相同」改成「token 相同且窗口末端仍有有效槽位」，超过安全边界的部分直接按未命中处理。2

这会带来一个看起来反直觉的结果：按 token 容量统计，原始命中长度会略降；按固定存储预算统计，系统却能容纳更多前缀，实际可复用的有效长度反而增加。SWA 的收益因此不只是少存一些 KV，还包括让相同缓存预算覆盖更多会话、共享系统提示词和重复工具调用。

为了让读取不再阻塞计算，论文还加入了 layerwise prefetch。SWA 层只需取回窗口内的 KV，主机到设备的加载可以按层与计算重叠。这个设计把「缓存更小」进一步变成「缓存搬运更容易藏在计算后面」，两者不是同一个优化。

GCache 和路由把缓存收益带到跨机器场景

当缓存从单机 GPU 显存扩展到多级、跨机器的 L3，瓶颈会转向网络和一致性。论文介绍的 GCache 同时支持文件和 KV 语义，覆盖内存、磁盘与远端存储层，并使用 RDMA、共享内存持久化和零拷贝路径。以 1MB I/O 为例，作者报告单进程 RDMA 读取吞吐为 170 GB/s、延迟 280 微秒；在 GDR 场景下，吞吐约为 350 GB/s。这里是 GCache 的基准结果，不是整套推理服务的端到端吞吐。2

小米还把请求路由改成 KVCache-affinity scheduling：路由器在 Radix 前缀树中查找已有缓存的 Prefill 节点，同时用负载项避免请求全部挤向同一台机器。论文报告，部署后 L2 cache hit rate 提升约 25%，每节点输入吞吐提升约 30%。在等待队列中，命中率更高、未缓存 token 更少的请求会优先执行，同时用等待时间惩罚避免某些请求长期得不到服务。2

这个调度策略对长请求的帮助比对短请求更明显。论文图 6 中，长请求 TTFT 的 P90 从 6.88 秒降到 4.78 秒，下降 30.5%；短请求的 TTFT 基本没有变化。P99 也不是同样幅度，长请求下降 10.4%，短请求下降 2.4%。把 P90 的改善写成「整体延迟提升」会丢掉这组结果真正的适用条件。2

长短请求的 TTFT 对比 — 长请求的 P90 改善明显，短请求的变化很小；这更接近缓存亲和调度对长前缀请求的局部收益，而不是所有请求的统一加速。2

论文还称，模型上线后，在主流高质量 harness 框架下，服务端 KVCache 命中率平均为 93%；高强度持续使用的用户达到 95% 以上。这属于作者对自身线上系统的观测，文中没有给出完整流量、硬件和样本量，不能当作对所有部署的保证。2

MoE、Prefill 和 Decode：缓存优化会反过来改变并行配置

SWA KVCache 从全序列存储改成窗口存储后，Prefill 阶段不必为所有 token 预留同样多的空间。论文因此把 Expert Parallelism（EP）规模降到原来的一半，并报告端到端性能提升约 40%。这是一个很有代表性的链式结果：模型架构节省显存，显存约束放松后，MoE 的跨机器并行配置才有机会调整。2

长上下文请求还被分成 0–64K、64K–256K、256K–1M 三个长度桶，避免短前缀请求在同一批次里被超长前缀拖慢。论文给出的固定 16K compute chunk 测试显示，前缀接近 100 万 token 时，Prefill 相对吞吐降到约 0.12 倍；长度分桶只能缓解混合调度造成的负载不均，不能消除长前缀本身的计算成本。2

Decode 侧有两组更局部的结果。第一组是显存：论文称启用 Decode 阶段的 SWA 支持后，KVCache 有效容量提升约 5 倍。第二组是三层 Multi-Token Prediction（MTP）：补上 Prefill 阶段的 MTP 适配后，0–128 token 区间的 speedup 达到 2.3 倍，128–256 token 区间达到 1.5 倍。后者针对的是 Agent 场景早期输出，不能推广成所有输出长度都能获得 2.3 倍加速。2

多模态链路说明：LLM 之外也会堵车

多模态输入把瓶颈从注意力层推到了 Encoder 和数据入口。小米的做法包括 GPU 图像 resize、normalize 和 patchify，并行下载和 PIL 解码、下载与 forward 重叠、跨请求 batch，以及视频帧并行解码。论文报告的 Encoder 局部 benchmark 如下：2

指标	优化前	优化后
QPS	15	30
平均延迟	78.39 ms	80.28 ms
P90 延迟	100.76 ms	82.94 ms

QPS 翻倍但平均延迟几乎不变，P90 下降，说明这组改动主要在提升并发处理能力，而不是让每个小请求都变得更快。对视频，论文给出的例子是：1 小时视频的 Encoder 延迟从 156 秒降到 23 秒。这个数字属于视频解码链路，不能直接当作整个多模态模型的端到端延迟。2

缓存也需要跟着多模态输入走。多 Encoder 部署如果使用轮询，包含同一图像、音频或视频的请求可能每次落到不同实例，缓存就很难复用。论文用一致性哈希把相同 key 的请求固定到同一 Encoder，并报告多模态缓存命中率提升 30%；同节点的多个 Encoder GPU 则通过共享内存共享 embedding cache。2

这部分并非只停留在论文叙述。SGLang 的 EPD RFC #24945 记录了 MiMo-V2.5 线上验证过的 GPU 图像预处理、并行下载与解码、下载和 forward 流水线、并行视频解码与缓存等改动，并列出了已经合并或正在推进的相关 PR。它能证明这些优化确实在向开源服务框架迁移，但不能替代对整套 MiMo 服务的独立复测。3

读者应该怎样判断这份报告的价值

这篇报告把一个常被省略的事实讲得很具体：Hybrid SWA 的理论节省只有在缓存仍然正确、数据搬运不阻塞、路由能复用前缀、MoE 并行配置合适、多模态输入不堵住 Encoder 时，才会变成线上指标。单独把模型换成 SWA，甚至可能因为缓存系统仍按 Full Attention 分配而得不到预期收益。2

如果你在评估类似系统，可以优先核对四件事：

长上下文和多轮 Agent 场景里，缓存命中率、命中长度和 TTL 是否一起报告，而不是只报理论 KV 节省比例。
SWA 的 Full KV 与窗口 KV 是否分池，前缀树是否知道哪些尾部槽位仍然有效；这是正确性问题，不只是内存优化。
TTFT、Prefill 吞吐、Decode speedup 和多模态 Encoder QPS 是否分别给出基线、分位数和请求长度；不同指标不能拼成一个总加速比。
哪些改动已经进入公开服务框架，哪些仍依赖内部 GCache、硬件拓扑和生产流量；能否复现，取决于这些条件是否被公开。

arXiv v1 是技术报告预印本。论文没有给出覆盖所有请求类型的统一端到端成本或延迟数字，很多结果也没有完整披露硬件、流量和样本量。因此，它更适合用来理解大模型推理系统怎样把架构优势逐层兑现，不适合直接拿其中某个局部数字预测另一套集群的表现。1

原文与工程入口

论文原文：Full-Pipeline Inference Optimization for MiMo-V2.5 Series

SGLang EPD RFC #24945

MiMo-V2.5 推理优化：Hybrid SWA 的收益要靠整条服务链兑现