奇绩信号Alpha Sight 2026年8月14日【文字版】

本期判断

头条

1. 把未来变成隐变量，而不是昂贵的视频回放：面向世界动作模型的隐未来表示

认知提取

论文摘要

• 问题。 直接预测动作的 WAM 需要从当前画面同时推断场景状态与交互后果；迭代生成未来视频又带来明显推理开销。论文提出用 latent future 作为 action policy 的隐藏条件。1
• 核心发现。 Future-KV 保留分布式时空上下文，latent-action 监督把动力学寄存器推向与交互变化有关的紧凑表示；两条路径在配置实验中表现出互补性，但作者也提醒这不是完整的因果必要性证明。1

• 实验边界。 论文在 LIBERO 四个套件上按每个任务五十次 rollout 统计成功率，并用 LIBERO-Plus 的相机、初始状态、语言、光照、背景、传感器噪声和物体布局扰动测试分布外鲁棒性。1

核心方法

• 随机未来基底。 当前帧 latent 占据第一个位置，未来位置填入高斯噪声；视频分支进行一次 prefill，产生 dynamics-register 状态与逐层 KV cache。部署时，动作 DiT 读取当前 token、动力学寄存器、未来槽位和缓存。1
• Future-KV。 训练时视频分支接收示范未来 latent 并学习 flow-matching 目标；推理时固定当前帧、未来槽位置噪声，在噪声强度为一的预填充后缓存每层键值，避免迭代的未来视频 rollout。1
• Latent-action 监督。 冻结的 LaWM teacher 把示范中的视觉变化编码成 latent-action target；可训练投影头约束动力学寄存器接近该 target。这个 target 是训练期的 transition cue，不是可执行电机指令。1
• 训练目标。 总损失由视频 flow matching、动作 flow matching 和 latent-action 蒸馏三项组成；动作损失的梯度可以通过视频到动作的 K/V 接口回传。论文明确指出，损失函数本身不能证明寄存器具有因果必要性，仍需要定向干预。1

实验成果

• LIBERO 平均成功率为 百分之九十六点七，对应配置的比较结果为 百分之九十六点九；LIBERO-Plus 为 百分之六十一点六。读者应把这组数字和任务套件、每任务五十次 rollout 的协议一起看。1
• 论文报告的价值在于成本结构：推理时只做一次视频预填充，不生成未来像素；因此它更像是给控制器加了一块「动力学缓存」，而不是再加一个完整的视频生成器。这个判断来自方法流程，论文未把所有平台级延迟拆成统一表格。1
• 消融显示 Future-KV 与 latent-action registers 的组合优于各自单独配置；作者同时把「互补」限定为配置级证据，没有声称两个模块分别是因果必要的。1

总结与反思

• 结果总结： RIFT 式 WAM 把未来预测从「生成一段视频」改写成「预填充一个可复用的隐状态」，在 LIBERO 与 LIBERO-Plus 上同时保留较高成功率。
• 局限性： 证据主要来自仿真基准与配置消融；未来槽位到底编码了哪些可迁移动力学，尚未由因果干预或真实机器人实验完全拆开。
• 前沿见解： 下一步应比较同一动作模型在不同 latent substrate、不同噪声初始化和真实传感器延迟下的稳定性，否则「隐未来」可能只是更便宜的条件缓存，而非通用世界模型接口。

2. 用未来监督训练，部署时丢掉 rollout：保留未来、舍弃回放的 RIFT

认知提取

论文摘要

• 问题。 世界动作模型通常用视频预测获得时序信息，但部署时生成整段未来视频会把控制延迟推高。RIFT 训练未来感知的表示，再直接预测动作块。2
• 研究设计。 论文在 LIBERO、LIBERO-Plus 与 RoboTwin 二点零上比较动作成功率和动作块延迟，并给出未来监督、动作预测与 rollout 相关组件的对照。2

核心方法

• 未来监督、直接动作。 训练时从示范视频中构造未来状态监督，使视觉表征携带动作后果；部署时输入当前观测和任务条件，直接输出动作块，不再逐步解码未来视频。2
• 动作块设计。 策略一次预测一段连续动作，再按控制周期执行；这样比较的不是单个动作 token 的准确率，而是整段动作和闭环成功之间的关系。2
• 评测协议。 论文把成功率和动作块延迟并列，避免只报告高分却隐藏 rollout 成本；RoboTwin 二点零则补充了跨任务与场景的具身泛化信号。2

实验成果

• LIBERO 成功率达到 百分之九十八点八；RoboTwin 二点零的两个报告设置分别为 百分之九十二点九 与 百分之九十二点六。2
• 动作块延迟下降 百分之六十八点二至百分之八十九点一。这项结果的阅读重点是「删除了哪段推理链」，而不是把它直接等同为所有硬件上的端到端加速。2
• 论文给出 LIBERO、LIBERO-Plus 和 RoboTwin 的分项图；但当前可访问源文件对全部硬件、批大小和端到端 wall-clock 条件的呈现并不完全一致，因此部署成本仍需复现实验确认。2

总结与反思

• 结果总结： RIFT 用训练期未来监督换取部署期更短的动作链路，在多个仿真套件上同时报告高成功率和明显的动作块延迟下降。
• 局限性： 论文的主要证据仍来自仿真；延迟收益依赖具体视频 backbone、动作 horizon 和硬件协议，不能脱离这些条件外推。
• 前沿见解： RIFT 与隐未来 WAM 的真正分水岭，将是对同一数据、同一控制器和同一硬件做严格的 rollout、KV-prefill 与直接策略三方成本对照。

3. 视频表示不再只是 embedding，而是可编辑的电影知识图谱：AVA-Encoder

认知提取

论文摘要

• 表示形式。 文本节点承载故事层级与镜头状态，资产层保存或引用关键帧、角色/场景/物体参考图、音频和渲染视频；有类型的边保存包含、绑定、引用、转场、时序和语义关系。3
• 自优化。 固定 decoder 将图谱重建为视频，源视频与重建之间的差异被拆成原子事实，再分别驱动输入相关的图谱修正和数据无关的编码策略伪训练。3
• 评测。 论文建立了四个重建方向、八个细粒度维度的 benchmark；自动指标与人类判断在七百三十个盲评三元组中的七百一十个上保持一致。3

核心方法

• 层级 Agentic Video Encoder。 编码器按 film、shot、keyframe 多层理解视频，并维护共享的角色、场景和物体 registry，减少跨镜头身份漂移。3
• 图谱与资产分层。 文本节点只描述结构与状态；图像、音频和视频等实际资产放在资产层，由图谱中的 keyframe 和引用边寻址。这样可以对局部文本节点或资产做 linked subgraph edit。3
• 双循环 textual gradient。 外循环在视频集合上学习共享的 shot-level encoding policy；内循环在测试时只细化当前视频的图谱表示。两条循环可以独立开启，并由 anti-forgetting / anti-degradation gate 接受更新。3

实验成果

• AVA-Encoder 的 Overall 重建分数为 百分之四十九点零，相对最强外部 baseline 的 百分之二十八点三 提升 二十点七个百分点。四个方向分别是 Video 百分之五十七点八、Keyframe 百分之七十三点七、Video Back-Captioning 百分之二十九点七、Keyframe Back-Captioning 百分之三十四点六。3
• 在受控的 policy-only 设置中，伪训练 shot-level policy 得到 百分之四十五点八，人工调优 policy 为 百分之四十四点四；前者使用的 system-prompt tokens 少 百分之七十四点三。3
• 下游故事视频质量在多个创作框架中因注入完整 AVA 表示而提升；但这些结果依赖固定 decoder、重建 benchmark 和特定生成框架，不能直接推断为开放世界电影编辑能力。3

总结与反思

• 结果总结： AVA-Encoder 证明了「可查询的结构化表示」可以比单一视频 embedding 保存更多可编辑信息，并在重建 benchmark 上取得可量化提升。
• 局限性： 图谱构建、VLM 评估、固定 decoder 与下游生成器共同决定分数；目前难以把每个模块的独立贡献完全分离。
• 前沿见解： Agent-native video representation 的下一关不是再增加节点类型，而是证明局部图谱编辑能稳定改变目标镜头，同时不破坏人物身份、时序和音频同步。

4. 多跳工具调用的瓶颈在语言推理，而不是会不会调用 API：VAKRA

认知提取

论文摘要

• 基准构造。 VAKRA 覆盖八千多个可执行 API、六十二个领域，设置多样 API 交互、结构化 API 多跳推理、多源推理与自然语言工具使用约束三类任务。4
• 验证方式。 评测器在 live API 上重新执行预测的工具调用，并允许多条正确路径；固定 ReAct harness 用来尽量隔离模型推理能力与 Agent 架构差异。4
• 核心发现。 随推理深度增加，模型表现下降超过百分之五十；轨迹分析把主要错误定位到语言中介步骤，而非纯粹的工具调用机制。4

核心方法

• 三档难度。 第一档改变 API 交互风格，第二档要求在结构化 API 上组合多跳，第三档再加入文档检索和自然语言政策约束。难度增加来自轨迹中依赖关系变多，而不只是题目变长。4
• 可执行评测。 预测的工具调用被放回数据库支持的 API 环境重新执行；这比只对最终自然语言答案做 exact match 更能发现参数、实体和调用顺序错误。4
• 轨迹诊断。 论文把错误分为实体消歧、跨源 grounding、schema alignment、政策遵循和工具调用等类型，显示语言决策层比 API 语法层更容易成为组合推理的断点。4

实验成果

• GPT-五点五在单跳 endpoint-style 任务上达到 百分之七十点四；在组合 API 上下降到 百分之五十至百分之五十一。4
• 随 reasoning depth 增加，模型准确率下降超过 百分之五十；政策约束下的不可回答问题准确率最低为 百分之二点四。4
• 评测规模是八千多个 API、六十二个领域、二至五跳链路。这个 benchmark 的价值在于把「工具会不会用」推进到「能不能在多源约束下保持可执行轨迹」。4

总结与反思

• 结果总结： VAKRA 把 Agent 可靠性从单步函数调用推进到可重执行的多源轨迹，证据指向语言推理与跨源 grounding。
• 局限性： 固定 ReAct harness 有助于比较模型，却不能覆盖真实企业 Agent 的记忆、重试、权限和成本路由；live API 的领域分布也会影响结果。
• 前沿见解： 下一代 Agent benchmark 应把失败节点、修复动作和成本一起纳入评分，让系统知道何时继续调用、何时切换来源、何时明确拒答。

认知模型

5. 信息越多，参数知识可能越弱：长上下文训练的丰裕悖论

认知提取

论文摘要

• 问题。 长上下文训练让模型接触更多信息，但上下文中已出现的答案可能减少参数记忆被调用的机会。论文系统比较上下文可用与不可用时的知识表现。5
• 方法。 作者在合成预训练比较、注意力质量和复杂度分析中观察模型如何在上下文证据与参数知识之间分配信息。5
• 发现。 长上下文带来更多可见信息，却可能令参数化知识更少被学习或提取；因此 RAG 的上下文覆盖率不能替代参数知识的独立健康度。5

核心方法

• 条件对照。 论文区分上下文提供答案、上下文提供干扰和没有上下文的条件，从而观察模型究竟是在记住知识，还是只是在检索当前窗口。5
• 注意力诊断。 注意力质量分析追踪模型在不同任务中把权重放在上下文证据还是参数相关 token 上，用来解释长上下文训练后的行为变化。5
• 复杂度视角。 论文把上下文长度与知识访问复杂度一起分析，提示「扩大窗口」与「保持可回忆知识」是两个需要同时优化的目标。5

实验成果

• 论文的主要结果是方向性而非单一 leaderboard 数字：在长上下文训练条件下，参数知识的独立表现出现下降，而上下文可用时的表面表现可能掩盖这一下降。5
• 复杂度图和注意力图共同表明，模型能读到更多内容，并不代表它更会在没有上下文时回忆；部署评测应至少拆分 context-present 与 context-absent 两种条件。5
• 论文没有把结论推广为「长上下文训练必然损害所有知识」；目前最稳妥的解读是：上下文依赖性应成为训练后诊断指标。5

总结与反思

• 结果总结： 长上下文解决了可访问性，却可能削弱参数知识的独立可用性；RAG 系统应把两者分开测。
• 局限性： 论文的合成训练与任务分布不等于所有真实语料和模型配方；退化的幅度需要在不同规模、语料和检索策略上复现。
• 前沿见解： 未来的上下文训练可能需要显式的 memory-preservation objective，让模型学会使用证据，同时保留在证据缺失时工作的能力。

6. 让工具策略学习「重试、切换还是拒答」：受控错误注入的策略感知工具使用

认知提取

论文摘要

• 问题。 传统工具使用训练常把成功调用当成目标，忽略参数错误、工具不可用、返回冲突和不可回答请求。这样得到的 Agent 会把所有失败都当成重试信号。6
• 方法。 论文通过 controlled error injection 构造不同失败状态，并学习 retry、switch、modify 和 abstain 等策略动作。6
• 证据重点。 评测关注错误恢复的成功率、策略选择与错误类型的匹配，而不是只统计第一次调用是否成功。6

核心方法

• 错误类型建模。 训练集将错误注入到工具选择、参数、返回内容和可回答性等层级，保留导致错误的上下文，使策略看到的是「发生了什么」而不只是一个失败标签。6
• 策略动作空间。 模型需要在重试、切换工具、修正调用和拒答之间选择；每个动作隐含不同成本和成功前提，适合与生产 Agent 的恢复控制器对接。6
• 诊断视角。 论文将错误恢复看成策略感知决策，而不是字符串级的调用修复；这有助于检查 Agent 是否知道「继续做」和「停止做」的边界。6

实验成果

• 当前可核实材料显示，论文的主结果围绕受控错误下的策略恢复展开，但完整 HTML 中可直接读取的统一数值表有限；没有可靠数字的部分不用「大幅提升」替代。6
• 可复现价值在于错误分布可控：研究者可以单独增加参数错误、工具不可用或不可回答请求，观察策略是否出现重试偏置。6
• 由于作者单位在 arXiv HTML 中只展开到亚马逊，机构信息按原文保守呈现；不据作者邮箱或搜索结果补写其他单位。6

总结与反思

• 结果总结： 论文把工具使用训练的目标从「会调用」推进到「知道失败后选哪条恢复路径」。
• 局限性： 受控注入的错误仍是作者预先定义的错误空间；真实生产中的权限、延迟、数据漂移和多工具耦合可能产生未覆盖的失败。
• 前沿见解： Agent 的恢复策略应和风险、延迟、调用费用联合优化，拒答也应作为可评估的正确动作，而不是成功率里的空白。

多模态

7. 科学图表的难点不是看懂，而是改得对：Diagram-MMU

认知提取

论文摘要

• 数据集。 Diagram-MMU 包含约三千七百张科学图表、约一万八千三百个经人工验证的问题，覆盖六个领域。7
• 三类任务。 D2C-P 测图表到代码解析，D2C-E 测代码编辑，DQA 测图表问答；每类任务另设 agentic setting。7
• 总发现。 十二个 MLLM 的结果显示，diagram-to-code 比 diagram question answering 更难；多数模型在 Agent 辅助下解析和编辑变好，但问答反而下降，Claude-四点六 Opus 是持续改善的例外。7

核心方法

• 代码与视觉双重验证。 解析任务同时关注代码是否可执行、对象级属性是否保留、文本和布局是否一致；单纯生成一段能编译的 TikZ 不足以证明还原正确。7
• 渐进式 Agent 设定。 模型可以获得对象信息、工具调用或先生成代码再编辑/回答；这些条件被单独消融，以区分「感知帮助」和「中间代码状态管理」的收益。7
• 领域难度。 三维形状最难，图表其次；图表包含大量小尺寸标签、数据标记和坐标关系，对视觉定位与代码合成同时提出压力。7

实验成果

• 数据规模为 三千七百张图表、一万八千三百个问题、六个领域；评测覆盖 十二个 MLLM。7
• 在 D2C-E 中，D2C-P 成功渲染与失败渲染的样本之间，object F1 平均差距在多数模型和代码长度上达到 二十至四十个百分点。7
• 对象信息让 D2C-E 的 preserve F1 平均增加 四点一至十点六，edit F1 增加 三点三至七点一；但对 D2C-P 并非所有模型都有帮助，说明对象感知和代码合成不是同一个瓶颈。7

总结与反思

• 结果总结： Diagram-MMU 把科学图表理解拆成解析、编辑和问答，说明「能回答」与「能生成可编辑结构」之间存在明显鸿沟。
• 局限性： TikZ 代码和六类图表决定了任务形态；真实科研软件中的 SVG、绘图 API、交互状态和版权图表还需要单独评估。
• 前沿见解： 科学多模态模型的下一项硬指标应是可验证编辑：修改目标元素后，未指定元素、数值关系和图表语义都要保持不变。

具身智能

8. 一个冻结模拟器会把策略训练成「只会讨好它」：多智能体 RL 的 simulator collapse

认知提取

论文摘要

• 现象。 单模拟器 REINFORCE 的训练奖励持续上升，但 OOD 评估早早见顶并下降；策略把概率质量集中到能利用该模拟器模式的低熵行为。8
• 理论解释。 当模拟器错误在多轮轨迹中持续累积，策略梯度会逐渐偏向主导模式，而不是目标用户或参考分布。8
• 验证任务。 论文在 Persuasion for Good、τ²-bench 和 CooperBench 三个多轮 benchmark 上测试，并安排真实用户实验检验 LLM panel 的收益能否迁移。8

核心方法

• Verbalized Sampling。 每一轮让模拟器返回多个候选响应及其 verbalized probability，再按分布采样，降低贪心调用把模拟器压成单一模式的风险。8
• Co-Training。 在同一轮对话中同时更新策略和模拟器，让策略正在利用的模式不断移动；论文还用 curriculum reward 把模拟器保持在信息变化较丰富的区域。8
• 分布假设。 Verbalized Sampling 的理论保证依赖采样分布接近模拟器的 reference distribution；论文明确把这作为经验假设，而不是对真实用户分布的自动保证。8

实验成果

• Verbalized Sampling 相对单模拟器 RL 的 held-out success 最高提升 百分之九，Co-Training 最高提升 百分之十四；人类研究观察到相近方向的收益。8
• 单模拟器训练中，训练奖励上升、OOD 评估回落和策略熵趋近零同时出现；这组指标比只看训练曲线更能识别 simulator collapse。8
• 论文使用六个 simulator panel 做部分评估，并在 CooperBench 上与 Claude Haiku 四点五、GPT-五和 Gemini-三 Flash 做对称 cross-play；不同任务的 reward 定义并不相同。8

总结与反思

• 结果总结： 训练一个 Agent 的同时固定一个语言模拟器，会把学习目标悄悄改成「预测这个模拟器的模式」；采样和共同训练都能部分恢复多样性。
• 局限性： verbalized probability 的质量、模拟器池的覆盖和人类实验规模都会影响收益；分布恢复的理论条件不能直接替代真实用户验证。
• 前沿见解： 多智能体 RL 的环境应像数据集一样被审计：除了平均 reward，还要报告模拟器多样性、策略熵、seen/unseen gap 和模式覆盖。

AI4Science

9. 用少量冷启动样本做组合药物筛选：ScreenShot

认知提取

论文摘要

• 数据范围。 论文覆盖四十个 drug-screening 数据集、约三千七百种药物和六千个样本，目标是评估跨数据集 few-shot 组合反应预测。9
• 模型任务。 ScreenShot 使用无基因组或转录组输入的药物与细胞反应信息，预测新组合的反应，并比较不同 few-shot budget 下的 hit recall、误差与相关性。9
• 主动学习。 冷启动阶段只使用约三分之一预算，再迭代选择最有价值的组合，观察是否能达到完整预算的 hit detection 水平。9

核心方法

• 药物覆盖。 预训练药物库把不同数据集中的药物映射到共识 ID 和 embedding；无法解析的药物使用 UNK 表示，论文单独报告覆盖率。9
• few-shot 迁移。 在目标数据集只给少量标注样本，模型预测其余组合的反应，并与从头训练、传统预测和其他预训练方法比较。9
• 主动学习。 每轮根据当前模型的不确定性或命中价值挑选待测组合；消融去除主动选择和模型组件，检查收益来自表示、采样还是两者叠加。9

实验成果

• 论文在四十个数据集、三千七百种药物和六千个样本上评估；主动学习约用 三分之一预算 就达到相近的 hit detection 能力。9
• 评测同时看 Hit Recall@二十、MAE、Pearson correlation 和不同 few-shot budget；因此「省预算」不能脱离命中召回与预测误差一起读。9
• 论文使用多次重复实验报告均值与标准差，并对主动学习消融使用 Wilcoxon signed-rank test；具体优势会随数据集、冷启动预算和药物覆盖率变化。9

总结与反思

• 结果总结： ScreenShot 把组合药物预测从每个数据集重新训练，推进到跨数据集预训练加少样本适配，并用主动学习压缩实验预算。
• 局限性： 药物 ID 覆盖、数据集测量协议和细胞系分布都会影响迁移；预测命中不等于临床疗效或机制验证。
• 前沿见解： 更值得跟踪的是实验闭环：模型选择的组合是否能在真实测量后持续改善，而不只是离线数据上的 hit recall。

Infra

10. RAG 服务的视觉缓存不该只按 token 位置复用：QV-PIC

认知提取

论文摘要

• 问题。 现有 PIC 方法直接把图像渲染为文本或固定 token 序列，位置变化会破坏 cache 复用；RAG 查询又使不同视觉区域的重要性不同。10
• 方法概述。 QV-PIC 建立 query-aware 的视觉缓存单元，通过位置无关的视觉表示与查询相关选择，减少重复视觉 prefill。10
• 评估维度。 论文同时测 RAG F1、首 token 时间和相对完整 prefill 的加速，避免把缓存命中率当成最终服务收益。10

核心方法

• 位置无关视觉单元。 视觉编码结果不绑定原始图像中的绝对 token 位置，使同一片段在不同拼接和布局下仍可参与 cache 复用。10
• 查询感知选择。 系统根据当前问题判断视觉缓存的相关性，只把有用片段接入生成上下文；这一步把缓存从纯系统优化变成模型质量与系统成本共同约束的问题。10
• 服务评测。 论文比较 rendered-image PIC、optimized-text PIC、QV-PIC 和 full prefill，分别考察 F1、TTFT 与整体吞吐/延迟。10

实验成果

• 平均 F1 比 rendered-image PIC 高 二十一点六，比 optimized-text PIC 高 二点五八。10
• TTFT 下降 百分之十七点二，相对 full prefill 下降 百分之八十三点八。这两项是不同参照系，不能合并为一个加速倍数。10
• 论文把质量与延迟放在同一评测中，说明视觉缓存的目标不是单纯压缩 KV，而是在复用后仍保留查询所需的证据。10

总结与反思

• 结果总结： QV-PIC 用查询感知和位置无关表示，把视觉 RAG 的 cache 复用从序列位置约束中解放出来。
• 局限性： 论文结果依赖特定视觉编码器、缓存粒度和查询分布；跨模型、跨分辨率和长尾视觉内容的稳定性仍需测试。
• 前沿见解： 视觉 RAG 服务的关键指标应从命中率改成「证据保持率—TTFT—缓存占用」三者的联合曲线。

Agent

11. 金融 Agent 的难点是做完整研究，不是查一个数字：FrontierFinance

认知提取

论文摘要

• 任务规模。 FrontierFinance 包含二百二十个 queries、一万一千五百四十三条 rubrics，覆盖六个金融研究 use cases。11
• 任务性质。 一个问题往往需要检索多类来源、抽取数值、进行因果分析并生成长文；评测因而同时关心事实、证据、推理和报告完成度。11
• 比较对象。 论文比较 frontier proprietary、open-weight 模型与 Agent harness，强调同一模型换脚手架后结果会改变。11

核心方法

• Rubric 级评测。 每个 query 拆成多条可检查 rubric，评估 Agent 是否覆盖必要事实、证据、计算、解释和表达要求，而不是只判断最终答案像不像。11
• 研究链路。 Agent 需要先发现候选、检索公司与市场资料，再抽取和交叉核对数字，最后生成研究报告；这把 tool use、检索、推理和写作放在一个工作流里。11
• 轨迹分析。 论文还分析 Agent trajectory，观察失败来自搜索覆盖、证据组织、数值计算、事实核验还是报告表达。11

实验成果

• 规模为 二百二十个 queries、一万一千五百四十三条 rubrics、六个 use cases。11
• 最佳 proprietary 模型得分 百分之四十九点二，开放权重 Kimi K 三得分 百分之四十六点四，Samaya harness 最高得分 百分之五十六。11
• 这些数字不能解释为模型在真实投资中的收益率；它们衡量的是面向 rubric 的研究任务完成度，且不同 harness 的工具、检索与提示协议会改变结果。11

总结与反思

• 结果总结： FrontierFinance 把金融 Agent 评测从单点事实抽取推进到完整研究任务，并显示脚手架本身可以带来明显分数差异。
• 局限性： 二百二十个 query 仍不足以覆盖市场制度、行业周期和极端事件；rubric 评分也不能替代专业投资者的独立复核。
• 前沿见解： 金融 Agent 的下一步评测应把来源新鲜度、数字可追溯性、时间一致性和报告生成成本纳入同一个 trajectory score。

应用体系

12. RAG 的真正难题是同时遵守所有要求：EnterpriseRAG

认知提取

论文摘要

• 基准规模。 EnterpriseRAG 包含九百八十三个专家验证样本、六个领域，模拟 retrieval noise、knowledge gap 和 factual conflict 三类非理想检索条件。12
• 指标设计。 论文同时评估 RAG quality、instruction adherence、loose/strict 合规、faithfulness、answer coverage、persona、output constraints 和 knowledge interaction protocol。12
• 核心发现。 个别约束满足率最高可到 百分之八十四，但所有要求同时满足的严格合规率只有约 百分之二十七，形成 五十七个百分点 的 orchestration gap。12

核心方法

• 复杂约束合成。 研究者从企业查询中收集原子约束，再组合成没有内部矛盾的指令，例如要求用 Markdown 表格、缺数据时写 Data Unavailable、报告冲突时同时引用两边。12
• 非理想检索。 混合检索返回领域相邻但无关的文档，或故意制造覆盖缺口和事实冲突，模拟生产 RAG 中的噪声、过期和来源不一致。12
• 严格合规。 Loose IAS 可以表示若干单项要求做对，Strict IAS 则要求整条响应同时满足所有约束；两者并列才能看出 orchestration gap。12

实验成果

• 九百八十三个样本覆盖六个领域和十三个 state-of-the-art LLM；单项约束满足率最高 百分之八十四，严格整体合规约 百分之二十七。12
• 最佳拒答准确率只有 百分之四十二点七，冲突识别率低于 百分之四十五；这说明知识不完整时的判断比普通事实生成更难。12
• Qwen 三二百三十五 B Thinking 在拒答准确率上提升 十八点一个百分点，DeepSeek-R 一在冲突识别上提升 十四点四个百分点；不同推理模型收益并不一致。12

总结与反思

• 结果总结： EnterpriseRAG 用整体约束满足率揭示了企业 RAG 的编排缺口：每个局部动作都对，整条响应仍可能不合格。
• 局限性： 九百八十三个样本和六个领域仍是受控 benchmark；真实企业文档的权限、时效与跨系统冲突会带来更多变量。
• 前沿见解： 生产 RAG 应把拒答、冲突披露和证据覆盖当成一等动作，配套运行时协议，而不是只靠模型在最后一段文字里自觉补救。

阅读优先级

• 优先读一： 想判断世界模型是否真的降低控制成本，先对读 Foresight Without Seeing 与 RIFT，重点看未来信息如何进入训练、部署时实际保留什么、延迟比较是否在同一硬件协议下成立。
• 优先读二： 想做 Agent 评测，读 VAKRA、FrontierFinance 与 EnterpriseRAG。三篇分别把多跳 API、长程金融研究和企业约束合规拆成可检查轨迹，适合直接借鉴评测字段。
• 优先读三： 想跟踪表示学习，读 AVA-Encoder、Information Abundance Paradox 与 QV-PIC：它们分别从图谱、参数记忆和缓存接口回答「中间表示应该保存什么」。
• 优先读四： 想看实验闭环，读 ScreenShot 与 Simulator Collapse。前者把模型预测接到下一轮药物实验预算，后者把训练环境的模式偏置接到策略泛化和真实用户表现。