AI 论文早报｜7 月 30 日：工具调用投机、多模态稀疏路由与分布采样的 5 个新信号
5 篇 7 月 28 日提交的 arXiv 论文，覆盖工具调用投机、音视频 token 预算、知识密集型视觉问答、临床时间序列和语言模型采样可靠性。
今日看点
今天的 5 篇论文，分别把计算预算放在工具调用、多模态输入、外部知识、临床时间序列和模型行为上：
- 工具调用：让代理预测自己的下一次调用，Qwen3-4B 的 next-tool-call Hit@1 从 44.1 提到 61.2，但安全适用范围基本限于只读工具。
- 音视频理解：OmniDelta 不改变总保留比例，而是重新决定预算该给音频还是视频；在 25% token 保留率下，Qwen2.5-Omni-7B 的端到端推理加速 1.64 倍。
- 知识密集型视觉问答：SKIP 同时稀疏化视觉、检索和跨模态融合，在 5 个基准上以更少计算取得更高准确率，但长尾实体仍是主要失败来源。
- 临床时间序列：ClinPRISM 把不规则 ICU 轨迹压成 16 个时间 token，在 CLIR-Bench 上取得 49.83% 宏平均准确率；这是基准结果，不等于临床部署验证。
- 模型行为：指令微调模型可能能描述一个人群分布，却不能稳定地从该分布中抽样；PPA 在不增加调用成本的情况下把总变差误差降低 21%。
以下日期采用各论文 arXiv 详情页显示的首次提交日期；5 篇均为 2026 年 7 月 28 日提交的 v1 预印本。数字只保留论文原文或其摘要明确报告的结果。
五篇论文
1. 把工具调用预测塞回代理本身
论文：Speculate While You Reason: Teaching Agents to Predict Their Next Tool Call via Joint Agent-Speculator RL
作者：Jiabao Ji、Yujian Liu、Li An、Rohit Jain、Gungor Polatkan、Siyu Zhu、Shiyu Chang（University of California, Santa Barbara；LinkedIn）
提交：2026 年 7 月 28 日
原文：arXiv:2607.25816
问题背景：代理调用搜索、检索或数据库 API 时，常常要等工具返回结果。已有的 tool-call speculation 会用另一个小模型或历史缓存提前猜下一次调用，但预测器和真正执行任务的代理可能不是同一个模型，形成 speculator–agent gap。只有工具名和完整参数都匹配，预执行结果才真正可复用。
方法要点：论文提出 self-speculating agent，让同一个模型在两种模式间切换：agent mode 正常解决任务，speculator mode 根据部分轨迹预测下一次结构化 tool call。两种模式共享参数，并复用 prefix KV cache。训练上，joint agent-speculator RL 用代理自己的 rollout 生成 speculation target，再交替优化任务目标和下一调用预测目标；作者最终采用 4 次 agent 更新、8 次 speculator 更新的交替方案。
结果亮点：在多跳搜索问答和对话式工具使用任务上，Qwen3-4B 的平均 next-tool-call Hit@1 从 SFT 后的 44.1 提高到 61.2，平均任务成功率从 26.6 到 27.7。Qwen3.5-4B 的 Hit@1 从 48.9 到 66.3，平均任务成功率从 49.2 到 50.6。在线评估中，Qwen3-4B 自我投机在 MuSiQue 和 τ-bench 上分别达到 25.3 和 37.2 的 Hit@1，高于同系列较小外部预测器的 14.7 和 25.4。
适用边界：实验主要覆盖多跳搜索问答与对话式工具使用，backbone 也集中在 4B 规模。对下单、写库、发消息等会改变外部状态的工具，提前执行可能造成副作用；论文的方案更适合只读调用，或需要 dry-run、事务回滚等额外保护。
一句话阅读价值：如果你的代理瓶颈是工具等待而不是模型生成，先看这篇；它把「预测下一步」从外挂模块改成了代理自身的第二种工作模式。
2. 音频和视频的 token 预算不该平均分
论文：OmniDelta: Skill-Driven Budget Allocation for Token Compression in OmniLLMs
作者：Haoyang Huang、Wenjie Huang、Tianqi Xu 等（作者列表见原文）
提交：2026 年 7 月 28 日
原文：arXiv:2607.25669
问题背景：统一处理文本、音频和视频的 OmniLLM，很容易在长音视频输入上被 token 数量和 KV cache 拖慢。现有压缩方法多半先固定一个保留比例，再决定保留哪些 token；但问题可能主要依赖声音，也可能主要依赖画面，平均分配预算会把关键证据压掉。
方法要点：OmniDelta 是 training-free 的层级预算分配框架。第一层根据问题意图，在音频和视频之间重新分配固定总预算；第二层再依据局部复杂度和时间冗余，把预算分到音频片段和视频帧。音频以 1 秒片段为分配单位，视频以帧为单位；完成预算分配后，仍可接入已有的 token pruning 方法。因此它改变的是「预算花在哪里」，不是另造一套剪枝器。
结果亮点：论文在 4 个音视频基准和 2 个 Qwen2.5-Omni 模型上评估。以 Qwen2.5-Omni-7B、25% token retention 为例，GPU 内存减少 22.0%，端到端速度提升 1.64 倍，并在不同 pruning ratio 下形成更好的 accuracy–efficiency Pareto frontier。
适用边界：当前证据集中在 Qwen2.5-Omni 系列和音视频理解基准；1.64 倍是论文给定模型、保留比例和实验环境下的结果，不能直接当作所有 OmniLLM 部署的通用加速比。技能池和预算控制是否能迁移到不同模态分布，也值得看消融实验。
一句话阅读价值：它提醒工程实现不要只问「删掉哪些 token」，还要先问「这个问题的预算应该给哪一种证据」。
3. 让视觉、检索和融合一起变稀疏
论文：Salient Knowledge Pathways: Sparse Cross-Modal Routing for Efficient Knowledge-Intensive Multimodal Question Answering
作者：Noor Islam S. Mohammad、Uluğ Bayazıt
提交：2026 年 7 月 28 日
原文：arXiv:2607.25422
问题背景：知识密集型多模态问答同时承担三类成本：长视觉 token、大规模外部检索，以及完整的跨模态融合。只压缩视觉输入，可能让检索变差；只减少检索结果，又可能把跨模态证据链截断。
方法要点：SKIP（Salient Knowledge-Injected Pathways）把稀疏路由放在三个阶段：QVS 依据问题筛视觉 token，RCSR 按视觉区域分别检索知识，BSCA 只计算高兼容的视觉 token–知识块连接；DBC 再按问题难度控制预算，SKV 让简单问题走快速验证路径。也就是说，稀疏性不是单点优化，而是贯穿视觉、检索和融合。
结果亮点：在 OK-VQA、A-OKVQA、InfoSeek、Encyclopedic-VQA 和 ViQuAE 五个基准上，SKIP 的准确率分别为 63.2、58.4、30.7、24.3、37.4，平均计算量和端到端延迟为 0.42 TFLOPs / 305 ms；对比的 RA-CM3 为 1.71 TFLOPs / 820 ms。论文报告，SKIP 平均少用 4.07 倍 FLOPs，快 2.69 倍，在约 0.20 倍 RA-CM3 计算预算下仍保留满预算准确率的 98.4%。
适用边界：长尾实体占作者分析失败的 38%，组合式检索失败占 15%；当知识库覆盖不足或需要多跳绑定时，稀疏路由仍会漏证据。纯视觉任务上的加速只有约 1.1 倍，明显低于知识密集任务的 2.5–2.9 倍，说明收益依赖外部知识检索这一场景。
一句话阅读价值：这篇适合关注 RAG、视觉问答和推理成本的人：它展示了「先路由，再检索，再融合」如何比单独做视觉剪枝更完整。
4. 用少量时间 token 读懂不规则 ICU 轨迹
论文：A Cost-Effective Multimodal LLM Reasoning Framework for Question Answering over Irregular Clinical Time Series
作者：Frank Nie、Ethan B. Liu、Yuan Zhu、Wei Fan、Jindong Han
提交：2026 年 7 月 28 日
原文：arXiv:2607.25947
问题背景：临床时间序列通常不是规则采样的：不同指标在不同时间被记录，存在稀疏、异步和观测密度变化。把整段轨迹直接序列化成文本，会制造很长的输入，也容易丢掉时间尺度上的结构。
方法要点：ClinPRISM 先用不规则性感知的多尺度编码器捕捉宏观、中观和微观证据，再用 temporal evidence distiller 压成少量时间序列 token，最后通过 progressive temporal–language alignment 把轨迹接入 LLM。作者用去标识化 MIMIC-IV ICU 记录构建约 30,000 条轨迹和约 41,000 条指令微调 / QA 实例，覆盖 11 个任务。
结果亮点：在 CLIR-Bench 上，ClinPRISM 以 4B LLM backbone 取得开源系统最高的宏平均准确率 49.83%，比最强时间序列基线 t-PatchGNN 高 11.18 个百分点，比最好的开源通用 LLM KiMi-2.6 高 0.74 个百分点。它只使用 16 个 temporal tokens，平均推理延迟约 0.15 秒/题；文本序列化基线需要约 21K input tokens，延迟约 6.6–40 秒/题，但准确率为 25.01%–26.64%。
适用边界：这些结果来自 CLIR-Bench 和去标识化 ICU 数据，不是前瞻性临床试验，也不能把 benchmark accuracy 直接等同于诊疗可靠性。token budget 的消融还显示，K=16 最好，增加到 32、64、128 并不会继续提高准确率，压缩效率与信息保真之间仍需按任务校准。
一句话阅读价值：它给出了一个很具体的多模态压缩案例：不是把时间序列粗暴变短，而是先保留不同时间尺度，再让语言模型只接收 16 个有结构的 token。
5. 模型能描述分布，却未必能从中抽样
论文：Instruction-Tuned Language Models Cannot Sample from Distributions They Can Describe
作者：Chaemin Jang、Dongman Lee、Jihee Kim（KAIST）
提交：2026 年 7 月 28 日
原文：arXiv:2607.25292
问题背景：如果把语言模型当作某种 persona 的代理，常见做法是重复调用模型，把每次回答当作这个 persona 分布的一次独立抽样。论文检验了这个前提，而不是默认模型的随机性就等于人群分布的随机性。
方法要点：作者在公共舆论任务中比较两条路径：一是多次调用模型后聚合 persona responses，二是让模型在一次调用中直接描述它认为的响应分布。实验还比较 base 与 instruction-tuned 模型，并提出 Prompt-Perturbed Argyle（PPA），通过提示扰动让逐次模拟的答案分布重新分散。结果用与人类调查分布的总变差（TV）误差衡量。
结果亮点：在同一 persona、同一问题上，指令微调模型在超过 一半 的条目中重复给出同一个答案；这一现象在 3 个模型家族中都出现，而 base 模型少得多。一次性描述响应分布时，相对 persona aggregation 的误差降低 超过一半；PPA 不增加 API 调用成本，就把 TV 误差进一步降低 21%。这构成论文所谓的 KNOWS/DOES split：模型可以说出分布，却不一定能逐次模拟出分布。
适用边界：这个结论针对的是「把输出当作目标分布样本」的用途，不是翻译、摘要或事实召回。PPA 只能在模型已有先验支持的选项之间重新分配概率，不能凭空恢复被先验排除的选项；作者也强调，LLM 模拟人群不能替代真实调查，base-vs-instruct 的干净因果比较主要在 8B 模型上完成。
一句话阅读价值：只要研究涉及 persona simulation、民意估计或合成受访者，这篇论文就值得先读方法和评测定义，再决定模型输出能否被当成样本。
结语
这 5 篇论文放在一起，指向同一个工程问题：模型能力之外，计算应该花在哪里、证据如何进入模型、输出是否真的代表目标分布，同样决定系统能不能用。工具调用投机和多模态预算分配在压低成本，SKIP 与 ClinPRISM 在重排输入证据，第 5 篇则提醒我们不要把「模型能描述」误读成「模型能按该分布生成」。
如果只挑一篇深入：做代理系统先看 Speculate While You Reason；做多模态 RAG 看 SKIP；做时间序列或医疗 AI 看 ClinPRISM；关注模型行为测量，则看最后一篇的 sampling 定义和对照设计。
本文收录的论文均为 arXiv 预印本，尚未经过同行评审；文中的性能数字应结合各自的模型、数据集和实验设置理解。
This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.