MiMo-V2.5 推理优化：Hybrid SWA 的收益要靠整条服务链兑现
小米 MiMo Team 的 arXiv 2607.13095 把 Hybrid SWA 的理论缓存优势拆成双池 KVCache、分布式 GCache、缓存亲和路由和多模态流水线，论文报告了 TTFT、吞吐与视频解码改善，但这些数字仍是作者的生产系统结果，不等于可直接迁移的通用基准。
先给结论：理论上的 7 倍，在线上要靠整条链路兑现
小米 MiMo Team 在 2026 年 7 月 14 日提交的 arXiv 技术报告，讨论的不是新模型结构，而是 MiMo-V2.5 系列怎样把已有架构的效率优势变成服务端的吞吐、延迟和缓存容量。MiMo-V2.5 同时采用 Hybrid Sliding Window Attention（Hybrid SWA）、稀疏 Mixture-of-Experts（MoE）和多模态编码器，论文把 KVCache、分布式缓存、请求路由、Prefill/Decode 调度以及图像和视频处理放在同一条推理链里处理。1
Hybrid SWA 的直觉并不复杂：大多数层只看一个局部滑动窗口，少数 Full Attention 层保留全局视野。论文以 MiMo-V2.5-Pro 为例，70 层中有 10 层 Full Attention、60 层 SWA，窗口大小为 128。在这个配置下，作者估算 attention 计算量和 KVCache 存储都约为 Full Attention 的七分之一。这是架构层的上限，不是部署后自动得到的加速比。2
真正的工程问题是，普通缓存系统并不知道哪些 SWA KV 还有效。小米这篇报告最有价值的地方，就在于它把「省下来的 KV」继续拆成了缓存语义、数据搬运和调度问题。
SWA 先改变了「命中」的定义
Full Attention 下，前缀树通常可以把「token 序列相同」当作「KV 可以复用」。SWA 会破坏这个假设：前缀树节点可能还代表完整序列，但 SWA 池里只保留了窗口末端，甚至对应槽位已经被驱逐。如果调度器仍按完整前缀长度判定命中，后续注意力就可能读到无效或已被覆盖的槽位。2
论文的处理方式有三层。物理层把 Full Attention KV 和 SWA KV 分成两个池，SWA 池只按窗口大小分配，存储严格受 O(W) 约束；逻辑层仍向上层暴露一条完整序列视图；前缀树节点则同时记录 Full Attention 的段索引和 SWA 的有效窗口映射。命中规则也从「token 相同」改成「token 相同且窗口末端仍有有效槽位」，超过安全边界的部分直接按未命中处理。2
这会带来一个看起来反直觉的结果：按 token 容量统计，原始命中长度会略降；按固定存储预算统计，系统却能容纳更多前缀，实际可复用的有效长度反而增加。SWA 的收益因此不只是少存一些 KV，还包括让相同缓存预算覆盖更多会话、共享系统提示词和重复工具调用。
为了让读取不再阻塞计算，论文还加入了 layerwise prefetch。SWA 层只需取回窗口内的 KV，主机到设备的加载可以按层与计算重叠。这个设计把「缓存更小」进一步变成「缓存搬运更容易藏在计算后面」，两者不是同一个优化。
GCache 和路由把缓存收益带到跨机器场景
当缓存从单机 GPU 显存扩展到多级、跨机器的 L3，瓶颈会转向网络和一致性。论文介绍的 GCache 同时支持文件和 KV 语义，覆盖内存、磁盘与远端存储层，并使用 RDMA、共享内存持久化和零拷贝路径。以 1MB I/O 为例，作者报告单进程 RDMA 读取吞吐为 170 GB/s、延迟 280 微秒；在 GDR 场景下，吞吐约为 350 GB/s。这里是 GCache 的基准结果，不是整套推理服务的端到端吞吐。2
小米还把请求路由改成 KVCache-affinity scheduling：路由器在 Radix 前缀树中查找已有缓存的 Prefill 节点，同时用负载项避免请求全部挤向同一台机器。论文报告，部署后 L2 cache hit rate 提升约 25%，每节点输入吞吐提升约 30%。在等待队列中，命中率更高、未缓存 token 更少的请求会优先执行，同时用等待时间惩罚避免某些请求长期得不到服务。2
这个调度策略对长请求的帮助比对短请求更明显。论文图 6 中，长请求 TTFT 的 P90 从 6.88 秒降到 4.78 秒，下降 30.5%；短请求的 TTFT 基本没有变化。P99 也不是同样幅度，长请求下降 10.4%，短请求下降 2.4%。把 P90 的改善写成「整体延迟提升」会丢掉这组结果真正的适用条件。2
论文还称，模型上线后，在主流高质量 harness 框架下，服务端 KVCache 命中率平均为 93%；高强度持续使用的用户达到 95% 以上。这属于作者对自身线上系统的观测，文中没有给出完整流量、硬件和样本量，不能当作对所有部署的保证。2
MoE、Prefill 和 Decode：缓存优化会反过来改变并行配置
SWA KVCache 从全序列存储改成窗口存储后，Prefill 阶段不必为所有 token 预留同样多的空间。论文因此把 Expert Parallelism（EP）规模降到原来的一半，并报告端到端性能提升约 40%。这是一个很有代表性的链式结果：模型架构节省显存，显存约束放松后，MoE 的跨机器并行配置才有机会调整。2
长上下文请求还被分成 0–64K、64K–256K、256K–1M 三个长度桶，避免短前缀请求在同一批次里被超长前缀拖慢。论文给出的固定 16K compute chunk 测试显示，前缀接近 100 万 token 时，Prefill 相对吞吐降到约 0.12 倍；长度分桶只能缓解混合调度造成的负载不均，不能消除长前缀本身的计算成本。2
Decode 侧有两组更局部的结果。第一组是显存：论文称启用 Decode 阶段的 SWA 支持后，KVCache 有效容量提升约 5 倍。第二组是三层 Multi-Token Prediction（MTP）：补上 Prefill 阶段的 MTP 适配后，0–128 token 区间的 speedup 达到 2.3 倍，128–256 token 区间达到 1.5 倍。后者针对的是 Agent 场景早期输出，不能推广成所有输出长度都能获得 2.3 倍加速。2
多模态链路说明：LLM 之外也会堵车
多模态输入把瓶颈从注意力层推到了 Encoder 和数据入口。小米的做法包括 GPU 图像 resize、normalize 和 patchify，并行下载和 PIL 解码、下载与 forward 重叠、跨请求 batch，以及视频帧并行解码。论文报告的 Encoder 局部 benchmark 如下：2
| 指标 | 优化前 | 优化后 |
|---|---|---|
| QPS | 15 | 30 |
| 平均延迟 | 78.39 ms | 80.28 ms |
| P90 延迟 | 100.76 ms | 82.94 ms |
QPS 翻倍但平均延迟几乎不变，P90 下降，说明这组改动主要在提升并发处理能力，而不是让每个小请求都变得更快。对视频，论文给出的例子是：1 小时视频的 Encoder 延迟从 156 秒降到 23 秒。这个数字属于视频解码链路，不能直接当作整个多模态模型的端到端延迟。2
缓存也需要跟着多模态输入走。多 Encoder 部署如果使用轮询，包含同一图像、音频或视频的请求可能每次落到不同实例，缓存就很难复用。论文用一致性哈希把相同 key 的请求固定到同一 Encoder，并报告多模态缓存命中率提升 30%；同节点的多个 Encoder GPU 则通过共享内存共享 embedding cache。2
这部分并非只停留在论文叙述。SGLang 的 EPD RFC #24945 记录了 MiMo-V2.5 线上验证过的 GPU 图像预处理、并行下载与解码、下载和 forward 流水线、并行视频解码与缓存等改动，并列出了已经合并或正在推进的相关 PR。它能证明这些优化确实在向开源服务框架迁移，但不能替代对整套 MiMo 服务的独立复测。3
读者应该怎样判断这份报告的价值
这篇报告把一个常被省略的事实讲得很具体：Hybrid SWA 的理论节省只有在缓存仍然正确、数据搬运不阻塞、路由能复用前缀、MoE 并行配置合适、多模态输入不堵住 Encoder 时，才会变成线上指标。单独把模型换成 SWA，甚至可能因为缓存系统仍按 Full Attention 分配而得不到预期收益。2
如果你在评估类似系统，可以优先核对四件事：
- 长上下文和多轮 Agent 场景里，缓存命中率、命中长度和 TTL 是否一起报告，而不是只报理论 KV 节省比例。
- SWA 的 Full KV 与窗口 KV 是否分池，前缀树是否知道哪些尾部槽位仍然有效；这是正确性问题，不只是内存优化。
- TTFT、Prefill 吞吐、Decode speedup 和多模态 Encoder QPS 是否分别给出基线、分位数和请求长度；不同指标不能拼成一个总加速比。
- 哪些改动已经进入公开服务框架，哪些仍依赖内部 GCache、硬件拓扑和生产流量；能否复现，取决于这些条件是否被公开。
arXiv v1 是技术报告预印本。论文没有给出覆盖所有请求类型的统一端到端成本或延迟数字，很多结果也没有完整披露硬件、流量和样本量。因此，它更适合用来理解大模型推理系统怎样把架构优势逐层兑现，不适合直接拿其中某个局部数字预测另一套集群的表现。1
原文与工程入口
This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.