AI 论文早报｜8 月 9 日：5 篇新论文追问，模型真的在使用证据吗？

AI 论文早报｜8 月 9 日：5 篇新论文追问，模型真的在使用证据吗？

精选 5 篇 8 月 7 日（北京时间）提交的 arXiv 论文，比较模型如何分辨上下文、找回视频事件、验证视觉工具因果性、构造排序奖励，并把动态先验迁移到不同机器人。

AI 论文早报
AI 论文早报@雅岚 沈
截至 2026 年 8 月 9 日 07:00（北京时间），本期按 arXiv 详情页的 v1 提交记录，收录 5 篇在 8 月 7 日（北京时间）发布的 AI 预印本。它们横跨语言模型、视频理解、视觉工具调用、强化学习和机器人，但都在追问同一件事：模型得到一条新证据后，答案、奖励或动作真的因此改变了吗？

今日看点

  • 上下文要能分辨，而不是一律拒绝：SCOPE 用四种匹配条件训练模型选择性信任上下文；在 Qwen3-4B 上，误导信号导致的正确转错误率 SC2W 从 35.0 降到 16.3，同时整体准确率为 92.0。1
  • 视频多看几帧，不等于真的找回事件：在 2,190 段受控视频上，Gemini 3.6 Flash 的高事件数、高频率区域最终计数只有 0.2% 正确，真实事件只找回 18.1%；把采样率从 1 FPS 提到 4 FPS 后，弹球任务准确率从 19.6% 升到 29.3%，但报告序列与真值完全一致的比例只有 3.7%。2
  • 视觉工具的准确率增益可能来自少数轨迹：一项对 6 个模型、5 个感知基准的因果审计发现，Qwen3-VL-8B 在 V* 上工具调用比直接回答高 6.9 个百分点，但把返回图像替换成随机裁剪后，准确率从 91.1% 跌到 30.4%；论文还发现，DeepEyes、Qwen3-VL-8B、Mini-o3 中被归为「有效使用工具」的轨迹比例分别只有 7.9%、20.9%、45.0%。3
  • 生成式奖励模型更适合比较，不一定适合直接报分：RRC 把候选回答之间的相对排序变成强化学习奖励；在 8B 奖励模型设置下，RRC 的锚点排序配合 8 次投票，在 AlpacaEval2、ArenaHardV2 和 MATH-500 的思考模式分数分别达到 41.3、11.2 和 48.6。4
  • 跨机器人共享的可以是动态规律，不必强行统一动作坐标：DyPES-VLA 用未来帧预测学习共享动态先验，再由各机器人自己的 MoE 动作头输出原生控制；单一联合检查点在 LIBERO、RoboCasa-GR1、RoboTwin 2.0 上分别达到 98.0%、59.25%、89.02%，但真实机器人 75.6% 的平均成功率来自后续 1,800 条示范数据的联合微调。5
这 5 篇论文的共同点不是「又一个更大的模型」，而是把证据链拆成可检查的环节：上下文是否被正确取信，事件是否被逐个找回，视觉观察是否因果地影响回答，偏好排序是否能变成稳定奖励，动态表示是否能跨身体迁移。下面每篇都把分数和适用边界放在一起。

1. SCOPE：模型要学会什么时候相信上下文

基本信息：Xian Sun、Wei Chow、Yingshuo Wang、Junhao Liu、Wei Gao、Qing Wu、Lingdong Kong，来自杜克大学、新加坡国立大学、加州大学伯克利分校、加州大学尔湾分校、东北大学和南洋理工大学。论文为 arXiv v1，提交日期为 2026 年 8 月 7 日（北京时间）；原文是 Learning When to Trust via Selective Context Preference Optimization，并提供 项目页、代码 和 MIST 数据集。6
问题背景：检索片段、用户提示或外部工具结果不一定可靠。一个模型如果看到错误线索就改掉原本正确的答案，会被误导；但如果训练目标只是「抵抗上下文」，它也可能把正确证据和无关信息一起忽略。单一干净题目的准确率看不出这两种行为的区别。
方法要点：论文构造 MIST（Misleading Signal Testbed），让同一道题分别处于 clean、misleading、correct-context、irrelevant-context 四种条件。核心指标 SC2W 只统计模型在 clean 条件答对、加入误导上下文后答错的比例。SCOPE 不改 DPO 损失，而是从「干净答对、误导答错」的失败中挖出成对回答，再把同一偏好对均衡地放进四种上下文条件里训练。6
SCOPE 的 MIST 数据集从来源池、人工筛选、标注到复核冻结的构建流程
论文把四种上下文放在同一个匹配题目上，先控制数据质量，再测量模型是否真的学会选择性信任。6
结果亮点：在 Qwen3-4B 上，基础模型的 clean、misleading、correct-context、irrelevant 准确率分别为 94.5、62.5、98.1、92.6，SC2W 为 35.0；SCOPE 将四项准确率变为 95.0、80.7、98.1、94.3，整体准确率 92.0，SC2W 降到 16.3。在 Llama-3.2-3B 上，SC2W 从 31.5 降到 20.6。6
零样本迁移也有信号：Qwen3-4B 在 GSM-IC 上从 98.3 升到 99.7，在 GSM-Plus 上从 84.0 升到 87.3；但这些数字仍来自论文选定的外部基准，不等于所有检索或工具上下文都能获得同样收益。6
局限与一句话阅读价值：MIST 使用 1,000 个匹配题目，论文在两个可训练基础模型上比较方法，并采用固定解码种子、项目内的题目级不确定性估计；它更像一套「上下文是否值得信任」的诊断台，而不是现实检索系统的完整压力测试。做 RAG、工具调用或多轮代理评测时，SC2W 加上正确上下文和无关上下文两个控制条件，比只报一项抗干扰准确率更能揭示模型是否学会了判断证据。6

2. The Low-Frequency Trap：视频模型连事件账本都可能记错

基本信息：Sarvesh Baskar、Zikui Cai、Shayan Shabihi、Anirudh Satheesh、Muhammad R. Islam、Udari Madhushani Sehwag、Tom Goldstein、Furong Huang，来自马里兰大学和弗吉尼亚大学。论文为 arXiv v1，提交日期为 2026 年 8 月 7 日（北京时间）；原文是 The Low-Frequency Trap: Video–Language Models Fail at Simple Event Bookkeeping。7
问题背景：自然视频把事件数量、发生频率、持续时间、镜头复杂度和语义内容缠在一起。模型最后答对「发生了几次」，不代表它真的看到了每个事件：可能只是猜中计数，也可能找到了部分事件后在汇总时出错。
方法要点：作者生成 2,190 段固定时长 24 秒的视频，覆盖弹球撞墙、视觉闪烁、状态机切换三类任务；事件数 N 和频率 F 被独立改变，每段视频都附带可执行的时间戳真值轨迹。除了最终计数，评测还检查模型报告的事件序列是否与真值逐项对齐，并在 TransRAC 的 151 段自然视频上做了 456 次试验。7
三类受控视频及其可执行事件轨迹：弹球撞墙、闪烁和状态切换
图中把最终计数和每个事件的时间戳同时摆出，读者可以看到「答对数量」与「找回事件」并不是同一个指标。7
结果亮点：在 80% 可靠性阈值下，Gemini 3.6 Flash 对持续状态切换能稳定数到 12 个事件，但在瞬时闪烁任务上没有可靠的正事件区域。高事件数、高频率区域中，最终计数只有 0.2% 正确，模型只找回 18.1% 的真实事件。把弹球视频采样从 1 FPS 加密到 4 FPS，最终准确率由 19.6% 升到 29.3%，可是报告序列与真值完全一致的比例仅 3.7%。7
局限与一句话阅读价值：受控视频排除了杂乱背景、镜头运动、遮挡、事件持续时间变化和不规则间隔；固定 24 秒也让提高事件数同时拉长需要保持的事件账本。论文的轨迹是模型输出文本被解析后的行为证据，不是内部推理的直接观测。做视频模型评测时，这篇论文最值得带走的字段是「最终答案、逐事件召回、时间戳一致性」三者分开报。7

3. The Illusion of Visual Tool-Use：调用了工具，不等于看了工具返回的图

基本信息：Zhiheng Wang、Bo Peng、Lai Wei、Chaochao Lu，来自上海人工智能实验室、上海交通大学和上海创新研究院。论文为 arXiv v1，提交日期为 2026 年 8 月 7 日（北京时间）；原文是 The Illusion of Visual Tool-Use: A Causal Audit of Thinking with Images，代码在 CauAudit。8
问题背景：crop-and-zoom 之类的视觉工具会增加 token 和推理步骤，最终准确率却可能只小幅上升，甚至下降。更难发现的情况是：模型发出了看似合理的裁剪动作，但答案其实没有使用返回图像中的信息。
方法要点：论文把工具调用拆成三层干预。policy 层比较工具调用与直接回答；trajectory 层把一条轨迹中所有返回观察替换成随机裁剪；step 层在固定前缀下，只替换一次观察。最后用 Visual Evidence Gain 衡量某个观察对答案的因果贡献，并把轨迹分成 No-call、Calling Without Looking、Looking Without Planning 和 Calibrated 四类。8
视觉工具调用中的直接路径、观察介导路径和动作诱导捷径
这张因果图把「工具动作改变了答案」和「工具返回的视觉内容改变了答案」分开，正是论文的审计对象。8
结果亮点：在 V* 上，Qwen3-VL-8B 的工具调用准确率为 91.1%，直接回答为 84.2%；但在随机裁剪观察的轨迹干预下，准确率跌到 30.4%，平均工具调用次数从 1.1 增到 6.5。一步观察的 VEG 分布也不均匀：Qwen3-VL-8B 有 56% 的调用 VEG 小于 0.01，错误轨迹上的平均 VEG 为 -0.20。不同模型的 Calibrated 轨迹比例为 DeepEyes 7.9%、Qwen3-VL-8B 20.9%、Mini-o3 45.0%。8
局限与一句话阅读价值：评测只覆盖开放权重模型和 crop-and-zoom 工具；VEG 需要白盒 token 概率，因此无法直接审计闭源模型。论文把「结果导向强化学习造成工具策略失配」列为待验证假设，而不是已证实的因果结论。对视觉 agent 来说，不能只看工具调用后的总分，还要问：删掉或替换观察后，答案是否随之改变。8

4. RRC：让生成式奖励模型保留它的比较能力

基本信息：Chenglong Wang、Ziming Zhu、Yifu Huo、Bei Li、Qiaozhi He、Yan Ding、Xiaoyang Hao、Yuxin Gao、Tianhua Zhou、Xiaojia Chang、Tongran Liu、Jingbo Zhu、Zhengtao Yu、Tong Xiao，来自东北大学、中科院心理研究所行为科学重点实验室、昆明理工大学、NiuTrans Research 等机构。论文为 arXiv v1，提交日期为 2026 年 8 月 7 日（北京时间）；原文是 RRC: Unlocking Generative Reward Models in LLM Reinforcement Learning via Ranking-Based Reward Construction，代码在 RRC。9
问题背景：判别式奖励模型天然输出一个标量，生成式奖励模型则更擅长读完两个回答后说出哪个更好。把后者压成某个偏好 token 的概率，可能让概率校准崩掉；问题不只是奖励模型大小，而是比较式模型和标量奖励接口不匹配。
方法要点：RRC 让生成式奖励模型继续做排序，再从相对顺序构造强化学习奖励。Self-Competitive Ranking（SCR）在当前策略采样的回答之间互比；Anchor-Guided Ranking（AGR）则用少量参考回答作为锚点，降低大候选集的比较成本。论文给出的调用复杂度从 SCR 的 O(m·log m) 变为 AGR 的 O(m·n)，其中 m 是候选回答数，n 是锚点数；构造出的奖励可以接入 GRPO、DAPO 等算法。9
概率式奖励构造与基于排序的奖励构造对比
右侧保留了生成式奖励模型的相对比较，再把排序结果映射为奖励分数；左侧则直接把偏好 token 概率当作奖励。9
结果亮点：在 Llama-3.1-8B 策略模型、8B 奖励模型设置下，RRC-AGR 配合 8 次投票，在思考模式下的 AlpacaEval2、ArenaHardV2、WildBench、MMLU-Redux、MATH-500 分数分别为 41.3、11.2、59.8、56.9、48.6；不使用投票时对应的 RRC-AGR 结果为 39.4、11.0、58.1、55.4、47.8。9
局限与一句话阅读价值：SCR 随候选数增加会带来更多奖励模型查询，生成式奖励模型还可能给出循环偏好，论文需要用 Kemeny 规则做图清洗；锚点数量扩大到 256 时也出现收益饱和或轻微下降。若你在研究 LLM 的 RL 训练，这篇论文的工程问题很明确：先确认奖励模型能否稳定比较，再决定怎样把比较结果接到优化器。9

5. DyPES-VLA：跨机器人共享动态先验，动作仍由各自身体决定

基本信息：Junfeng Li、Junjie He、Zhide Zhong、Yangyang Zheng、Pingyue Sheng、Jiayu Dong、Ruixin Li、Haodong Yan、Jiaguan Zhu、Tianran Zhang、Runze Yu、Wen Chen、Liuqing Yang、Yuxiang Gao、Haoang Li，来自香港科技大学（广州）和 COCO Matrix。论文为 arXiv v1，提交日期为 2026 年 8 月 7 日（北京时间）；原文是 DyPES-VLA: Learning Shared Dynamics Priors and Embodiment-Specific Control for Cross-Embodiment Manipulation，并提供 项目页。10
问题背景：把单一 VLA 迁移到不同机器人时，有两条路都不理想：要么把不同身体的动作手工映射到统一坐标，要么只用带动作标签的数据学习，浪费大量无动作视频中已经存在的物体运动和接触规律。
方法要点：DyPES-VLA 分两阶段训练。第一阶段用人类和机器人无动作视频做未来帧预测，让 VLM 的共享查询表示编码运动、接触和场景变化；第二阶段用多个机器人示范继续联合训练，同时让 embodiment-specific MoE 动作头在每个机器人的原生动作空间输出控制。未来生成头只用于训练正则化，推理时移除。10
DyPES-VLA 用共享动态先验连接未来预测与各机器人原生动作头
图中左侧是共享查询表示、未来生成头和具身专属 MoE 动作头，右侧是从无动作视频预训练到跨具身联合训练的两阶段流程。10
结果亮点：单一联合检查点在 LIBERO 上达到 98.0%，在 RoboCasa-GR1 上达到 59.25%，在 RoboTwin 2.0 上达到 89.02%。去掉未来预测后，三项分别降到 96.1%、56.75%、86.67%；改用共享 dense 动作头后，RoboTwin 2.0 降到 87.85%。真实机器人结果平均为 75.6%，但这个数字来自三个身体、三个任务、1,800 条示范数据的联合微调，不是换身体后的零样本结果。10
局限与一句话阅读价值：论文只实例化了单臂、双臂和人形三类身体，不足以证明对任意形态都能迁移；策略不使用本体感觉输入，每个视角只取一帧，真实机器人还依赖联合微调。它的可读信号不是「跨机器人通用」这句口号，而是未来预测消融、原生动作头和真实示范成本必须一起看。10

一句话收束

这 5 篇论文把「模型有没有用到证据」拆成五个可复核的问题：SCOPE 检查上下文改变后是否仍能分辨对错，The Low-Frequency Trap 检查视频中的事件是否逐个被找回，视觉工具审计检查观察内容是否因果地改变答案，RRC 检查相对偏好能否稳定转成奖励，DyPES-VLA 则检查共享动态是否值得跨身体迁移。读者如果只带走一个评测习惯，可以先把最终分数旁边的证据链补齐：条件、轨迹、对比基线、额外成本，以及没有覆盖到的场景。

References

  1. 1
    SCOPE arXiv 摘要页arxiv.org
  2. 2
    The Low-Frequency Trap arXiv 摘要页arxiv.org
  3. 3
    The Illusion of Visual Tool-Use arXiv 摘要页arxiv.org
  4. 4
    RRC arXiv 摘要页arxiv.org
  5. 5
    DyPES-VLA arXiv 摘要页arxiv.org
  6. 6
    SCOPE 论文 HTML：作者、机构与项目链接arxiv.org
  7. 7
    The Low-Frequency Trap HTML：作者与机构arxiv.org
  8. 8
    The Illusion of Visual Tool-Use HTML：作者与机构arxiv.org
  9. 9
    RRC HTML：作者、机构与代码arxiv.org
  10. 10
    DyPES-VLA HTML：作者、机构与项目页arxiv.org
AI 论文早报

AI 论文早报

每日自动汇总值得关注的 AI 新论文，用中文早报帮你快速掌握研究进展。

This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.

Related content

  • Sign in to comment.