奇绩信号Alpha Sight 2026年9月4日【文字版】

今日判断：九月三日 arXiv 的新信号，正在从“模型能不能做”转向“模型做之前看到了什么、做之后留下什么”。世界模型开始预测可区分的状态，机器人把意图和证据写进执行接口，推荐与检索系统则把候选、缓存和隐私约束放到推理路径内部。下面精选十二篇论文，覆盖九个板块，读者可以据此判断哪些方向值得继续精读、复现或跟踪。

头条

1. 让 Web Agent 预测“动作会造成什么状态变化”，而不是复述下一页 原论文

认知提取

论文摘要

• 论文将网页导航建模为部分可观测决策问题，在同一当前状态下收集多个候选动作及其真实后继状态，形成可比较的分支决策点。原文摘要
• 数据来自 WebArena 的 Go-Browse 轨迹，合并重复网页状态后得到七千七百三十个分支决策点、二千八百三十九条轨迹和三万零九百二十个成对匹配样本。原文方法

核心方法

• 给定指令、历史、当前状态和查询动作，模型生成文本化后继状态；匹配判断器只比较预测状态、真实查询后继状态与替代后继状态，不接收动作上下文，避免判断器直接走捷径。原文方法
• 训练奖励由状态匹配奖励和格式奖励组成，主实验格式奖励权重为零点四；模型无需生成唯一目标字符串，只要能让真实后继状态在候选中被识别出来即可。原文方法
• 下游动作排序器把每个候选动作与对应预测状态一起看，比较“只给动作”“加入监督式下一状态”和“加入匹配式下一状态”三种输入。原文排序设置

实验成果

• 在留出的预测状态匹配基准上，本文方法总体准确率为百分之八十点八零，高于 WebDreamer-七 B 的百分之七十四点五一和 WebWorld-八 B 的百分之七十点一七；换用 GPT-四 O 与 Llama-三点一-七十 B 判断器后，准确率分别为百分之八十一点二六和百分之七十九点三一。原文表一、表二
• 在训练式 WebPRMBench 对比中，加入匹配式预测状态后的平均 Pairwise 准确率为百分之八十九点三六，平均 Best-of-N 为百分之七十二点七零；无状态基线分别为百分之八十二点零二和百分之五十五点八零。原文表三
• WebArena-Lite 端到端成功率从 ReAct 的百分之十三点九四、Best-of-五 的百分之二十一点八二，提升到加入匹配状态后的百分之二十八点四八。原文结果

总结与反思

• 结果总结：世界模型的价值不在于把网页写得像，而在于把候选动作造成的差异写得可判别。
• 局限性：训练依赖存在分支后继状态的浏览轨迹，未覆盖的网页状态和动作组合仍可能让匹配器失去依据。
• 前沿见解：Web Agent 的下一层接口可能是“动作—后继状态—排序证据”，而不是单独的动作 token。

2. SolarWM：用统一数据契约把五秒训练推进到小时级视频世界模型 原论文

认知提取

论文摘要

• SolarWM 发布从数据准备到长时推理的开放框架，把十个数据集的一百四十三万条 canonical clips 转成包含视觉观测、度量相机几何、字幕、质量、筛选决定和 provenance 的统一记录。原文摘要
• 模型家族覆盖 Wan2.2、LTX-2.5 和 MiniMax-H3，共四个五 B 至三十三 B 模型；仅用五秒序列训练，即可进行分钟级和小时级连续生成。原文模型说明

核心方法

• 训练管线依次使用双向适配、教师强制的自回归初始化和基于分布匹配蒸馏的因果训练，让模型从短序列监督过渡到逐帧自回归。原文训练管线
• 数据引擎把原始片段先转成 canonical clip，再补充度量相机标注、Clean Plate、密集字幕、多轴质量标签和源数据 provenance；数据处理与混合策略被解耦。原文数据引擎

• Fused-PRoPE 提供统一相机条件，但不同视频骨干仍保留原生表示与训练目标；这不是把所有生成器压成同一个网络，而是把接口统一。原文模型家族

实验成果

• 数据引擎最终保留约八十七万六千条片段，拒绝约五十四万九千条；完整语料约二万九千个 shards、二十五点八五 TB。原文数据统计
• 因果推理使用每秒十六帧、四步采样和单张图像初始化；OOD 评估覆盖十秒、分钟级和小时级，小时级测试达到六十分钟端点。原文推理设置
• 论文展示的是开放数据、训练配方和长时 qualitative rollout 的组合证据；当前返回的原文关键图表没有给出统一的单一质量分数，因此不能把长时画面直接等同于长期物理一致性。原文实验章节

总结与反思

• 结果总结：SolarWM 的主要信号是把世界模型研究从单模型 demo 推向可复现的数据—训练—推理基础设施。
• 局限性：论文的长时证据以 rollout 画面和数据开放为主，跨小时的定量一致性、交互成功率与真实控制收益仍需更多评测。
• 前沿见解：世界模型的竞争壁垒可能逐渐从单次生成质量转向数据契约、相机条件和长期误差管理。

3. Cliff：只追踪第一次错误，把稀疏结果奖励切成正确前缀和错误后缀 原论文

认知提取

论文摘要

• 论文针对 RLVR 的结果奖励过于粗糙问题，让现成大模型教师先生成可验证的参考解，再识别学生 rollout 中的第一处错误。原文摘要
• 错误位置之前的 token 获得较温和的正向优势，错误位置及之后获得负向反馈；主实验将错误前缀系数设为零。原文方法

核心方法

• 教师先独立生成参考解答，并用自动验证器筛选正确参考；对学生 rollout 逐步定位第一处错误，过长 rollout 直接视为无效。原文方法
• 每组样本仍使用 GRPO 的组内归一化，但优势函数不再把整条结果当作同一标签；正确 rollout 保持正向优势，错误 rollout 在错误点之后切换到负向优势。原文公式
• 论文还比较由教师判断与自动验证器判断的 consistency，以及第一错误位置与人工标注的接近程度，用来评估教师不是只会给粗糙结果标签。原文分析

实验成果

• 论文在十二个场景中报告稳定收益：相对 on-policy distillation 性能提高百分之十五，相对标准 GRPO 提高百分之七；作者同时强调教师能力只需中等水平。原文摘要
• 在 Qwen3-四 B 上，SOTA Cliff 在五个数学指标上的平均结果为百分之六十五点六六，高于 SOTA GRPO 的百分之六十二点三七；四个编码指标的对应结果为百分之二十五点九六和百分之二十四点八三。原文表二
• 在 Phi-四-Mini 上，Cliff 的收益同样出现在数学和编码任务，但论文图二原图由 PDF 截取，部分字体编码异常；因此正文只使用可辨认的趋势和表二数字，不把图中文字误读成额外指标。原文实验

总结与反思

• 结果总结：第一次错误是一个低成本、信息密度高的过程监督锚点。
• 局限性：错误定位依赖教师判断和自动验证器，教师误判会把后续正确修正一并压低。
• 前沿见解：长推理训练可能不需要给每一步都配奖励，先找到决定轨迹方向的断点更重要。

4. ProbeMatchDTI：用可学习探针找回被主导模式淹没的药物—靶点信号 原论文

认知提取

论文摘要

• 论文提出 IterProbe 与 BindingProbe 两个模块：前者保留多层上下文并选择位置特异的实体状态，后者联合建模局部生化单元和整体药物—蛋白互补性。原文摘要
• 论文在 BindingDB、DrugBank、C. elegans 和 Human 四个数据集上评估，并把预测结果接入证据驱动的候选精炼与验证规划流程。原文实验

核心方法

• IterProbe 在初始、中间和当前状态之间保留上下文，用可学习 probe 对每个位置进行选择，再进入跨实体匹配，减少弱功能基团和局部基序被平均掉的风险。原文方法
• BindingProbe 在微观层面对原子—残基进行双向对应，在宏观层面对整对分子的语义和结构证据做互补性加权。原文方法

实验成果

• BindingDB 的 AUC-ROC 为零点九九一，AUC-PR 为零点九九二；DrugBank 的两项指标均为零点九零六。摘要报告两项 AUC-ROC 相对先前方法分别提高百分之二点零和百分之零点五。原文表一

• DTI-Agent 将五百个候选过滤到二百九十一个，保留二百三十九个已知靶点中的一百九十二个，Precision 从零点四七八零提高到零点六五九八，筛选负担降低百分之四十一点八。原文案例
• 消融显示，IterProbe 单独改善 C. elegans 和 Human 的部分指标，BindingProbe 单独提升 BindingDB，但 DrugBank 在只加 BindingProbe 时会退化；两个模块同时使用后 DrugBank AUC-ROC 回到零点九零六。原文消融

总结与反思

• 结果总结：跨尺度探针把弱局部模式和整对分子互补性放进同一预测接口。
• 局限性：公共数据集上的极高 AUC 仍可能受数据划分和负样本构造影响，真实实验验证只覆盖下游案例而非完整临床结论。
• 前沿见解：AI4Science 模型需要保留“弱但有机制意义”的证据，而不是只追求对主导模式的平均拟合。

认知模型

多模态

5. RVSD：把被剪掉的视觉 token 变成可按需检索的记忆库 原论文

认知提取

论文摘要

• RVSD 在单次解码中联合使用语义引导的 token 稀疏化和 Semantic-Space Visual Retrieval，不需要训练额外数据，也不需要多轮生成。原文摘要
• 解码时维护 active sparse set 和 deferred set，先用前者降低注意力开销，再用不确定性门控触发跨模态检索。原文方法

核心方法

• 文本显著性先选出主要文本 token，模型再用跨模态注意力给视觉 token 打分，并通过时间平滑减少每个解码步的选择抖动。原文方法
• 当解码层的不确定性超过阈值时，当前隐状态作为 query，在 deferred visual memory bank 中检索 top-k 视觉证据，临时构造 adapter 进行注入，检索后立即释放。原文方法
• 注意力复杂度从包含全部视觉 token 的平方项降到只包含文本 token 与 k 个 active token 的平方项，同时保留恢复视觉 grounding 的入口。原文复杂度

实验成果

• 在 POPE-MSCOCO 平均指标上，RVSD 在 LLaVA-一点五、LLaVA-NEXT 和 Qwen-VL 上分别达到准确率百分之八十六点二零、百分之八十七点六零和百分之八十五点三零；对应 Vanilla 为百分之八十点五零、百分之八十二点四零和百分之八十三点七零。原文表一
• MM-Vet 总分从 Vanilla 到 RVSD：LLaVA-一点五由三十点零升至三十三点一，LLaVA-NEXT 由四十二点一升至四十二点七，Qwen-VL 由三十六点七升至三十八点四。原文图四

• RVSD 的每 token 延迟为六十二点零毫秒，与 Vanilla 的六十一点九毫秒基本持平；显存减少百分之二点二，TFLOPs 减少百分之十五点六，首 token 延迟减少百分之二十点二。原文表四
• 在 LLaVA-一点五上，RVSD 的 MME hallucination subset 总分为六百五十一点七；在 LLaVA-NEXT 和 Qwen-VL 上分别为六百六十八点三和五百九十三点四。原文表三

总结与反思

• 结果总结：RVSD 把稀疏化与证据召回放进同一次解码，避免速度和视觉细节只能二选一。
• 局限性：触发阈值和 active token 数量会影响效率—质量平衡，复杂场景中的检索证据仍可能来自错误区域。
• 前沿见解：多模态模型的压缩策略可以把“被删除的信息”改造成延迟访问的状态，而不是永久丢失。

具身智能

6. HINT：在操纵模式切换时重建意图，在模式内部持续追踪目标 原论文

认知提取

论文摘要

• HINT 将操作拆成 free move、pre-contact、transport contact 和 dexterous contact 四种模式，由轻量 Pattern Router 预测当前模式及进度。原文方法
• 在三种长时任务和语义组合 OOD 变体上，系统检验目标理解、子任务进度、完整任务成功率与低延迟控制。原文摘要

核心方法

• Pattern Router 使用共享 ResNet-十八、view-specific adapters、GRU 和 gated fusion，输出当前操纵模式与进度；模式切换触发下一次语义更新。原文方法
• Task Manager 在模式切换时生成当前子任务与目标实体；Grounder 用目标指令定位目标，SAM2 在两次切换之间持续追踪，置信度下降后重新定位。原文方法
• 意图通过像素级高亮和 token-level attention prior 注入动作策略，不向基础 VLA 增加可训练参数；高亮系数为零点三二。原文方法

实验成果

• 在 OOD 条件下，基础 π零点五的平均 IS 从百分之四十一点四提高到 HINT 的百分之八十九点四，平均 Sub. SR 从百分之三十六点二提高到百分之七十四点三；三个 OOD 任务的完整成功率由零提升到百分之三十。原文表二
• 在 OOD word spelling 上，π零点五完整成功率为零；去掉 highlighting 或 attention 后为百分之十，完整 HINT 为百分之三十。原文消融
• Pattern Router 的平均预测成功率从 ID 的百分之九十四点七降至 OOD 的百分之九十一点一；二百六十次模式转换中有二百五十一次正确激活下一语义目标。原文图七
• 连续追踪使子任务和完整任务完成时间分别降低百分之二十五点三和百分之二十一点五；加入腕部视角后，完整任务成功率从百分之十提升到百分之三十。原文图八

总结与反思

• 结果总结：HINT 把稀疏语义推理与连续视觉控制分开调度，降低长时任务中的意图漂移。
• 局限性：任务数量和机器人平台有限，模式路由、SAM2 追踪和 Grounder 的误差仍会层层传递。
• 前沿见解：VLA 的可扩展抽象可能是“意图承诺—目标轨迹—动作接口”，而不是每帧重新生成完整语言计划。

7. PACT：重复预测不等于新增证据，机器人动作授权必须保留来源

认知提取

论文摘要

• PACT 使用 provenance partition 定义可独立计数的证据单元，在每个单元内部取 coordinatewise meet，跨单元累加，再将未满足条件映射为 hold、confirm 或 fallback。原文摘要
• 论文在四十八个场景簇、三万一千二百次评估和离线人机协作中测试来源重分配、错误共识和 typed admission。原文实验

核心方法

• PACT 在 provenance 图上寻找连通分量；组件内部用 meet 保留共同支持，组件之间才相加，避免把同一信息的多次计算误算成更多证据。原文方法
• typed admission 按顺序检查 command consistency、source validity、risk support 和 component corroboration，第一项失败就停止并返回相应的 hold 或 fallback。原文方法
• 论文证明 coordinatewise meet 是同时满足 singleton fidelity 与 insertion non-amplification 的逐点最大规则；稀疏图实现复杂度可降到线性于节点和 provenance 边。原文理论

实验成果

• PACT 的 common-support ncsAURC 为零点零八六一；把同一摄像头的重复预测错误拆成独立来源后，平均 posterior L1 漂移为零点三九六一，说明来源标注本身会改变风险排序。原文结果
• 在多重度为三十二时，错误的 singleton counting 会把累计证据预算放大到单次来源的十点七三倍；false splitting 的 ncsAURC 差异由多重度一的零点零二四三升至多重度三十二的零点四三三八。原文结果
• 在共同 admission policy 下，PACT ncsAURC 为零点零八六一，nested Dirichlet 为零点一四七九；排除构造的 adversarial-consensus 条件后，来源分区使 ncsAURC 从零点一二五零降至零点零六九三。原文结果
• 相机分组的 PACT 在六十个 episode 中接受五十七个参考一致候选中的四十七个，没有观察到参考不一致候选被接受；同一相机内重复八次不会改变七百二十个 typed response。原文摘要
• HTML 中 Figure 三和 Figure 四的地址返回 Not Found，PDF 前六页也没有可提取的对应 artwork；相关消融和 admission 曲线因此以原文数字与表格承接，没有制作替代图。原文图表入口

总结与反思

• 结果总结：PACT 把“来源可数性”变成动作授权的显式变量，重复共识不能凭空增加安全预算。
• 局限性：provenance 分区需要外部提供，错误拆分或错误合并都会改变后验与风险覆盖；真实传感器来源的边界并不总是清晰。
• 前沿见解：具身系统的证据接口应记录“谁看到了什么”，而不只是记录“多少模型同意”。

AI4Science

Infra

8. H3DNAS：没有源代码，也能直接压缩 ONNX 点云模型

认知提取

论文摘要

• H3DNAS 不需要源代码、架构类定义或搜索阶段梯度，直接对 ONNX 图做通道剪枝、GhostConv 结构突变和硬件可行性评估。原文摘要
• Channel Dependency Graph 将算子分为四类，并证明自由参数比例是图拓扑不变量，计算复杂度为 O(|V|+|E|)。原文理论

核心方法

• Stage 1 对自由节点采样宽度乘子和剪枝率，用 L1 通道重要性传播索引，并以随机输入下的 logits 余弦相似度做零样本预筛。原文方法
• Stage 2 把合适的 Conv 替换成 Primary Conv、Ghost DWConv 和 Concat 组成的低成本结构，再与 Stage 1 候选共同构建 Pareto 前沿。原文方法

实验成果

• 在 ModelNet40 上，PointNet 参数量减少百分之六十五点五，推理加速一点九九倍，准确率从百分之九十点三二变为百分之九十点二八；PointNet++ 参数减少百分之四十三点二，加速一点二九倍，准确率提高零点零八个百分点。原文表四
• PointMLP 参数减少百分之四十九点一，CPU P50 延迟从三百四十七毫秒降到二百零八毫秒，加速一点六七倍，准确率损失零点二八个百分点。原文表四
• 在 Jetson Orin Nano 八 GB 的 PointNet 约束下，H3DNAS 将参数量从三百四十五万降到一百四十六万，将 FLOPs 从八亿七千万降到三亿八千六百万，同时保持百分之九十点二八准确率。原文表六
• 原文 Figure 一和 Figure 三没有暴露独立图片 URL，本条保留方法总览 PDF 截图，并用原文表格承接其余结构图和对比结果。原文图表入口

总结与反思

• 结果总结：H3DNAS 把“只有二进制模型、没有训练代码”的部署现实变成了可搜索的压缩问题。
• 局限性：输出保真度是无标签代理，可能与真实任务精度不一致；理论自由度也会被残差、分组卷积和固定输出头限制。
• 前沿见解：模型压缩工具的竞争点会从框架内算法，转向对交付后计算图的可解释操作能力。

9. Spruce：先把密集向量变成紧凑二值码，再做私有 RAG 检索

认知提取

论文摘要

• Spruce 在两服务器 MPC 下用紧凑二值哈希替代全语料浮点嵌入扫描，并用固定半径协议筛选后续重排所需候选。原文摘要
• 系统提供私有簇剪枝和 dealer 两种部署优化，在四个三十八万三千至五百四十二万文档的语料上测试检索质量、通信和延迟。原文系统设计

核心方法

• 学习型二值表示由 e5-base-v2 加 LoRA hash head 生成，训练目标同时保留检索对比性、二值性和距离结构。原文方法
• Wallace popcount 在 MPC 中计算汉明距离；固定半径筛选避免多轮候选选择，再由客户端对候选做浮点重排并通过 PIR 获取内容。原文方法
• 私有簇剪枝减少需要扫描的文档比例，owner-operated dealer 则移除云端 OT 预处理瓶颈。原文优化

实验成果

• 在一百二十八 bit 代码下，四个 BEIR 语料的完整浮点检索 NDCG 保留率为百分之九十五点二至百分之九十七点八；中位候选集大小为三百八十二至一千九百五十二。原文表三
• 在十 Gbps 网络中，Spruce full scan 的查询延迟为零点二一至二点九七秒，比最近测得的基线快四点八至六点七倍；私有剪枝后的延迟为零点零六至一点零九秒，快十三点一至二十二点九倍。原文表五
• 最大语料在一 Gbps 链路上结合剪枝和 dealer 后，持续吞吐提升三十一点五倍；剪枝保留百分之九十三点九至百分之九十七点三的完整浮点 NDCG。原文表六
• Figure 二至 Figure 六在 HTML 提取中没有独立图片地址，本条用原文表格和实验数字承接，未把普通页面锚点当成可用图片。原文图表入口

总结与反思

• 结果总结：Spruce 把隐私检索的通信和计算瓶颈前移到表示学习，二值码负责缩小搜索空间，精确重排负责守住质量。
• 局限性：固定半径和二值码需要语料校准，跨语料、跨编码器或极端长尾查询时的质量稳定性仍需验证。
• 前沿见解：RAG 的隐私保护可能不只是加密数据库，而是让检索表示本身更适合安全协议。

Agent

应用体系

10. EPIC：在语义 ID 扩散的每一步保住真正的候选物品

认知提取

论文摘要

• EPIC 从当前可行候选集和用户近期交互构造个性化物品 posterior，再将其边缘化到未解析的 SID 位置，通过残差和歧义门控注入冻结的扩散推荐 backbone。原文摘要
• 方法保留至多 M 个候选，显式建模候选物品、历史序列和个性化 transition field；posterior 在每个去噪步重新计算，不跨步保存 posterior state。原文方法

核心方法

• 对每个部分 SID 先取候选支持集，再用结构化物品表示、用户历史 GRU 和个性化 transition 形成能量，归一化为 item posterior。原文方法
• item posterior 被边缘化成每个 SID 位置的 token 分布，与 backbone logits 做残差融合；零初始化缩放使初始行为等同原模型。原文方法
• 论文用 frontier-aware learning 只在候选存在歧义时施加 item-level 监督，避免在候选已唯一时浪费学习信号。原文方法

实验成果

• 在 Sports、Beauty、Toys 和 Musical 四个 Amazon 数据集的十六个 dataset—metric 组合中，EPIC 均取得最佳均值；相对第二名的 NDCG@十增益为百分之四点五至百分之十四点一。原文表二
• Beauty 的 NDCG@五为零点零四二六，Toys 为零点零四六五；相对第二名增益分别为百分之十二点四和百分之十六点八。原文主结果
• 可训练参数从六点八四七 M 降至零点三九一 M，减少百分之九十四点三；训练吞吐提高百分之四十二点七，推理延迟增加百分之三十四点二。原文表三
• 只解析两个 SID 位置时，Beauty 的 NDCG@五达到零点零四三八五，比解析全部四个位置快一点七二倍；移除 transition memory 后 NDCG@五下降百分之十五点一三。原文消融
• Figure 三至 Figure 七在当前 HTML 中只返回图注或片段锚点，未找到稳定独立图片地址；正文保留主方法图、主表格与原文数字。原文图表入口

总结与反思

• 结果总结：EPIC 将推荐从 token 局部决策拉回到候选物品级别，减少目标在生成早期被剪掉的风险。
• 局限性：推理延迟增加百分之三十四点二，候选集构造和商品 SID 质量会限制收益；实验主要覆盖 Amazon 数据集。
• 前沿见解：生成式推荐的关键不是把 item 编码成 token，而是让 item 级证据在 token 尚未确定时仍然有发言权。

11. LLM4AIGQ：把用户多兴趣拆开，再生成真正有引导价值的购物问题

认知提取

论文摘要

• 论文先把用户行为压缩为带时间和行为类型的序列，再按兴趣簇推断消费意图、下一偏好商品和多条 AIGQ。原文摘要
• 多级奖励覆盖推理、单条 query、兴趣簇和全局内容多样性；部署采用近线生成、在线读取映射表的架构。原文方法

核心方法

• RL 阶段最多拆出三个兴趣子序列，每个兴趣生成三条 AIGQ，并用有序匹配、语义相似度、TTR 和跨兴趣重复惩罚组合奖励。原文方法
• DPO 将 RL checkpoint 的 think mode 输出作为正样本，把非 think mode 输出作为负样本，并过滤语义相似度最高的百分之三十偏好对。原文方法
• 商品短标题把输入 token 平均长度降低百分之二十六点八，响应延迟降低百分之十点七；这是部署优化，不是模型能力增益。原文表二

实验成果

• Taobao 离线评估中，ONE_SFT+RL+DPO 的 Recall@十为零点二一零一、NDCG@十为零点二三七七、S ratio 为零点八六一六；相较 ONE_SFT+RL 的零点一七七一、零点二零三四和零点八三六零均有提升。原文表一
• 成对评估中，SFT+RL+DPO 对 Teacher Model 的 Win Rate 为百分之五十四点九五；仅 SFT 为百分之五十点二五，base model 为百分之三十四点六三。原文表四
• 线上百分之十流量实验中，uCTR 相对基线提高百分之四点四六；扩展到百分之四十流量并连续六天验证后，仍保持百分之二点五三正增益。原文线上实验

总结与反思

• 结果总结：LLM4AIGQ 把引导 query 从商品共现改造成面向多兴趣和消费意图的生成任务。
• 局限性：线上指标来自单一电商场景，query 的长期满意度、误导风险和用户隐私仍需独立评估。
• 前沿见解：应用型 Agent 的价值不只在回答用户问题，也在于帮助用户把尚未说清楚的需求变成下一步可点击的表达。

Benchmark

12. CivBench：Agent 把游戏打完，不代表它监控了关键状态

认知提取

论文摘要

• CivBench 通过 Model Context Protocol 暴露七十六个工具，单局超过三百回合、数千次调用，并用 narration layer 将视觉游戏状态转成结构化文本。原文摘要
• 评测包含二十三次 admissible runs、四个模型家族，并提出 Proactive Monitoring Rate（PMR）和十回合内承诺执行率 RAG@十两个接口指标。原文评测

核心方法

• 环境包含六种胜利条件和经济、科技、文化、军事、外交、空间、时间等多重目标；Agent 只能通过主动调用 narration function 获取非局部状态。原文环境
• PMR 定义为战略监控工具调用占全部非基础设施工具调用的比例；RAG@十把十回合内完成的承诺、部分完成的承诺和未完成承诺分开记录。原文指标
• 论文固定 save、scenario seed 和 versioned playbook，记录 turn structure、checkpoint 以及 tactical、strategic、tooling、planning、hypothesis 五类日志。原文协议

实验成果

• 二十三次可用运行中只有三次获胜，全部发生在 Ground Control；Snowflake 场景没有模型获胜，Fisher 精确检验 p 为零点四八八，论文明确将结果视为 pilot 而非模型排名。原文结果
• 在可检测的失败中，二十次里有七次在结束前二十回合的 warning window 内没有查询 victory progress；Agent 明明拥有工具，却没有把相关状态带入上下文。原文表二
• 各模型 RAG@十介于百分之四十八点二和百分之六十五点八，说明 Agent 自己写出的短期承诺经常没有在接下来十回合内落地。原文摘要

• 原文 Figure 二、Figure 四至 Figure 十四没有返回独立图片地址；论文的工具组成、RAG@十、胜负轨迹和错误分析因此以原文表格与数字呈现，没有用生成图替代原始证据。原文图表入口

总结与反思

• 结果总结：CivBench 把长时 Agent 的隐性失败拆成主动监控不足和计划执行断裂两个可量化接口。
• 局限性：二十三次运行的样本规模较小，playbook、商业游戏环境和模型访问条件都可能影响结果；论文不把它当作稳定排行榜。
• 前沿见解：长时 Agent 评测的基本单位应从“最后赢没赢”扩展到“关键状态有没有被主动观察、写下的承诺有没有改变动作”。

今日收束