Memory 技术日报 2026-07-25：draft KV 工作集、记忆读取分层与上下文生命周期
过去 24 小时的五条 memory/context 进展把重点放在状态角色边界：Windowed-MTP 缩小百万 token speculative decoding 的 draft KV，ACM 管理 agent memory 生命周期，Hindsight 拆分事实回取与模型综合，vLLM 修复 draft 状态恢复，Oracle 则验证带业务过滤和权限的混合记忆检索。
先看结论
过去 24 小时里，最值得动手验证的不是单纯“把 memory 做大”，而是给上下文状态划清角色边界：Windowed-MTP 只缩小 speculative decoding 的 draft 工作集，避免百万 token 上 draft head 反复读取完整 KV；Hindsight 把低成本事实回取和需要模型综合的 reflect 分成两条路径；ACM 则把写入、作用域、预取和压缩放进 agent memory 的生命周期。另有一条 vLLM draft PR 把 speculative decoding 的 suspend/resume 正确性补丁推到台面上，Oracle 的官方文章则给出将业务过滤、元数据、混合检索和权限放入同一查询路径的工程路线。
窗口内真正新提交的论文包括 ACM 和 Windowed-MTP；Hindsight、Oracle 与 vLLM 条目分别是 7 月 24 日发布的官方文章或 7 月 25 日凌晨创建的开放 PR。五条材料的证据等级不同，下面把可复现的数字、架构主张和未合并状态分开写。
| 进展 | 窗口内时间 | 读者先看什么 | 建议动作 |
|---|---|---|---|
| Windowed-MTP | 7 月 23 日提交，落在窗口内 | 1M context 下只给 draft attention 加滑动窗口，target 仍完整验证 | 在 SGLang 上按模型架构复现 draft 成本与接受长度 |
| Agentic Context Management | 7 月 23 日提交，落在窗口内 | 用五个原语管理 agent context 的写入、作用域、预取和压缩 | 先把现有 memory pipeline 按生命周期画出缺口 |
| Hindsight：recall vs reflect | 7 月 24 日发布 | recall 是无 LLM 的事实检索，reflect 才负责跨记忆综合 | 热路径先用 recall，低频总结再评估 reflect |
| vLLM PR #49774 | 7 月 25 日 08:29 创建，仍为 open draft | level-2 sleep/wake 后恢复 speculative draft buffers | 等合并前先补自己的 suspend/resume 输出一致性测试 |
| Oracle AI memory | 7 月 25 日 05:00 发布 | SQL、JSON metadata、vector/hybrid search 与 VPD 组合在同一查询路径 | 用 Module 03 lab 验证权限过滤与 read-after-write |
五条进展
1. Windowed-MTP：把百万 token 的完整 KV 读取从 draft 路径拿掉
论文原文：Windowed-MTP 于 2026 年 7 月 23 日提交，作者为 Alagappan Valliappan。它处理的是一个容易被“原生 MTP 很便宜”掩盖的成本：在百万 token 上，MTP draft head 每一步都对完整 KV 做 attention，读取量随上下文增长；draft length 较深时，speculative decoding 甚至可能比不投机更慢。
方法只改 draft 侧：使用 StreamingLLM 风格的滑动窗口和 attention sink，把 draft 的 KV 工作集限制在常数级；target 仍用完整 attention 验证每个候选 token。因此，窗口影响的是“提议什么”，不是 target 最终接受的输出分布。论文摘要报告，在单 GPU、SGLang、1M context 和三类架构配置下，draft 每步成本相对 shipping native MTP 降低 28%-44%，约 99% 的 draft KV 条目被丢弃；被回收的 draft KV 占总 KV 的 7.7%-11%。
这个设计的可测变量不是“压缩后能省多少显存”这么简单，而是接受长度是否变化。相同的每步成本，若窗口让接受长度下降，端到端收益就会被抵消；反过来，论文也报告窗口可能提升接受率。复现时应固定 target、prompt 长度和硬件，同时记录 draft attention 成本、接受长度、target verification 时间与 ring buffer 占用。
判断： 这是本期最接近 serving 复现的论文，但 28%-44% 不是通用加速承诺。当前公开证据是论文摘要中的单 GPU、SGLang 和指定架构结果，页面没有列出代码仓库；先复现模型级边界，不要直接改生产 draft window。
2. Agentic Context Management：把 agent memory 从存储接口扩展成生命周期
论文原文：Agentic Context Management 于 2026 年 7 月 23 日提交，作者为 Gaurav Dadhich。论文的核心重定位是：agent 的 context 不只包含长期记忆，还包括对话历史、长 prompt、工具定义和膨胀的工具输出；因此，问题不止是把内容存进库再检索，而是决定何时写入、如何划作用域、何时预取和何时压缩。
ACM 给出五个原语：
architecting 决定不同数据类型的捕获、存储、检索和压缩方式；ingesting 把对话、文档和 tool calls 变成结构化记忆；scoping 按 user -> customer -> client 组织作用域；anticipating 预测下一步可能需要的上下文并预取；compacting & consolidation 在预算受限时压缩并整合，同时保留来源。论文还把无管理的 full-append 成本写成 O(n²)，bounded context 写成 O(n)，并以 100、200、500 turns 的示例给出 6.3x、12.6x、31.3x 的成本差异。作者介绍 Maximem Synap 参考实现，并报告 LongMemEval 92.0%（460/500）和 LoCoMo 93.2%；后者按论文配置排除 adversarial category 5。需要注意，arXiv 页面标明这是 v1 preprint，论文摘要没有把这些数字包装成窗口内新运行；评测运行日期也早于投稿。
ACM 的价值在于给工程团队一张检查表，而不是证明五个原语已经形成统一最优架构。它还报告了一个容易被忽略的取舍：在 CodeXGLUE 上，keyword retrieval 为 0.290、vector 为 0.914；在 HotpotQA 上则是 keyword 0.549、vector 0.495。不同任务对表示和检索方式的偏好并不一致，这支持“按数据类型和任务选择路径”，不支持把向量或关键词单独奉为默认答案。论文的评测与 harness 入口可从 Maximem AI GitHub 进入。
判断： 如果团队正在重构 agent memory，先用五个原语审计写入、作用域、预取和压缩边界；如果要比较系统质量，再把 LongMemEval/LoCoMo 的配置、成本和延迟一起复现，不能只抄准确率。
3. Hindsight：recall 和 reflect 应该是两条成本不同的读取路径
官方说明：recall vs reflect 于 2026 年 7 月 24 日发布。Hindsight 把两个常被混用的操作拆开：
recall 是检索相关记忆并返回排序后的事实，不调用 LLM；reflect 则启动 agentic loop，在 mental models、observations 和 raw facts 多层记忆上搜索，再用 LLM 综合回答。recall 的实现不是单一向量查询：文章写明它并行使用 semantic vector search、BM25、实体图激活和时间过滤，再通过 Reciprocal Rank Fusion、cross-encoder reranker 和 token budget 截断结果。它适合每轮组装 prompt 或给用户展示原始事实。reflect 的
budget 控制 agent 探索迭代，max_tokens 只限制最终回答；通过 response_schema 可返回结构化对象，通过 include_based_on 返回实际使用的记忆来源。这一区分直接改变 memory 热路径的设计：如果用户问的是“我之前说过什么”，应返回可审计事实；如果用户问的是“基于这些事实我该怎么办”，才值得承担模型调用和综合延迟。文章把 recall 描述为 sub-second、低成本，把 reflect 描述为更慢且会消耗模型 token；这些是 Hindsight 官方产品说明，不是跨产品基准。
判断： 这条最适合转成接口级实验：在同一记忆库上分别测 recall 的 P50/P95、候选事实数量、token 截断率和 reflect 的调用次数、总 token、引用覆盖率。不要用 reflect 的综合质量替代 recall 的检索质量，也不要把二者混成一个“memory accuracy”指标。
4. vLLM PR #49774：speculative decoding 的 KV 状态也必须通过睡眠恢复测试
vLLM PR #49774 于北京时间 7 月 25 日 08:29 创建，标题为「Preserve draft buffers across level-2 sleep」，目前仍是 open draft。PR 描述的故障是：level-2 sleep 释放 model memory pool，恢复时只还原 target model buffers，speculative draft model 的注册 buffer 和运行时元数据却可能保留清空状态。
补丁的做法是 sleep 前快照 draft buffers，wake 后在重建派生元数据前拷回恢复的 buffers。PR 自述的 fixed-token speculative-decoding lifecycle validation 在 sleep/wake 前后保持相同输出；它没有提供端到端性能数据，也还不是合并版本。
这里的工程含义不在于“一个 PR 解决了 KV cache”，而在于 serving 的内存生命周期要把 target 和 draft 视为两个角色。只恢复 target 侧显存并不等于恢复整个生成状态；如果测试只覆盖连续运行，不覆盖 sleep/wake、抢占和恢复后的首个 batch，就可能漏掉这种状态不一致。
判断： 使用 vLLM speculative decoding 和 level-2 sleep 的团队可以先拿 PR 描述中的固定 token 场景做回归，但不要据此宣称官方已修复。等 PR 合并后，还应按自己的 draft model、并发度和恢复时机复测输出一致性与首 token 延迟。
5. Oracle：把记忆检索放回业务数据与权限的同一查询路径
Oracle 官方文章：Vector Search for AI Memory 于北京时间 7 月 25 日 05:00 发布，作者为 Oracle Principal Technologist Rick Houlihan。文章以 Oracle AI Database 26ai 为例，主张把 SQL、JSON metadata、vector search、hybrid retrieval 和 governed access 组合到同一查询路径：SQL 处理业务事实和过滤，JSON 承载灵活属性，向量与关键词共同检索，VPD 施加权限感知访问。
文章提供的可复现实验入口包括 Module 03 lab 和 long-conversation agent-memory notebook。Module 03 用数据库内 ONNX embedding、
VECTOR_EMBEDDING、VECTOR_DISTANCE 以及 IVF/HNSW 索引演示检索，再把结果与客户、订单等关系数据联查；文章还演示 VPD 和 hybrid vector index。它解决的是 agent memory 在企业系统里的组合问题：一条“找相似记忆”的查询，往往还要满足租户、业务状态、时间新鲜度和权限条件。若这些条件被拆到多个系统，检索结果的写后可见与授权边界需要额外协调。Oracle 文章的实验和架构判断来自厂商自己的 lab，不能直接推导出 converged database 在所有规模上都胜过专用向量库。
判断： 已有企业数据和权限体系的团队可先复现「向量 + 关系过滤 + VPD + read-after-write」的组合路径；纯相似度大规模 serving 则不应仅凭这篇文章更换存储底座。
共通判断：先定义角色边界，再谈 memory 的收益
五条材料的共同点不是它们证明了一个统一的 memory 架构，而是都把“哪些状态要保留、何时读取、由谁验证”变成了显式设计对象：Windowed-MTP 区分 draft 与 target，Hindsight 区分事实回取与模型综合，Oracle 区分业务谓词、灵活属性、语义检索和治理，vLLM PR 区分 target 与 draft 的恢复状态，ACM 则把写入、作用域、预取和压缩组织成生命周期。
这给出一个可执行的复现顺序：先对现有系统画出状态角色和转移，再分别测四类变量——draft 工作集与接受长度、热路径检索成本与综合成本、查询结果的权限/新鲜度、sleep/wake 后的状态一致性。ACM 的五原语可以作为架构审计框架，但它不能替代这四类具体实验。
怎么排优先级
- 百万 token + speculative decoding： 先读 Windowed-MTP，复现 draft attention 成本、接受长度和 target verification，不把 28%-44% 外推到其他架构。
- 正在重构 agent memory： 先用 ACM 五原语检查写入、作用域、预取和 compaction，再用 LongMemEval/LoCoMo 的完整配置复测准确率与成本。
- 线上每轮都要读取记忆： 先把 recall 和 reflect 拆成两个接口，记录热路径是否发生不必要的 LLM 调用。
- 使用 vLLM level-2 sleep： 把 PR #49774 的 draft buffer 恢复问题加入回归集，等待合并后再评估升级。
- 企业 RAG 需要权限与业务联查： 复现 Oracle Module 03 的混合查询路径，但保留专用向量库作为规模与纯相似度场景的对照。
This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.