奇绩信号Alpha Sight 2026年9月1日【文字版】

今日判断

头条

一、验证器不再只给一个分数：VICT 把长程信用追踪到证据边

认知提取

论文摘要

• 问题。 ALFWorld、WebShop 这类任务的终局奖励通常会广播到整条轨迹，模型无法知道哪些动作支撑了成功、哪些动作造成了失败。论文把问题限定在有程序验证器的长程交互任务中。1
• 方法。 VICT 暴露 verifier atoms、依赖核心、证据提取器和 commit predicate，把动作连接到验证原子的 proof graph 中，再修正训练期 advantage；证据不完整时主动 abstain。2
• 运行条件。 方法只改训练时的 advantage tensor，不需要 learned critic、process labels、branch rollouts 或推理时 verifier；验证器接口仍需要工程化暴露和一致性审计。2

核心方法

• 原子化验证器。 每个终局条件被表示成可执行或有证据支撑的 atom；动作必须通过 witness relation 与 atom 建立连接，不能只依靠时间邻近或词面相似。
• 依赖核心。 方法先找出对成功或失败真正关键的原子，再建立 dependency-valid proof edges；同一条失败轨迹中，有用的搜索动作可以得到正向修正，错误的最终提交动作可以得到负向修正。
• 安全回退。 当验证器不符合接口、证据含糊或 eligibility 审计失败时，VICT 不发出中间信用，保留原始终局奖励，避免伪造过程监督。4

实验成果

• 在 Qwen 二点五一点评五亿参数模型上，VICT 相对 GRPO 将 ALFWorld 平均成功率提高 十八点二个百分点，将 WebShop strict success 提高 二十四点九个百分点。1
• 在七十亿参数模型上，ALFWorld 平均成功率达到 九十三点七，WebShop strict success 达到 八十三点六，相对 GRPO 分别提高 十六点一和十七点五个百分点。2
• 消融实验显示，outcome-only GRPO、随机 proof edge、dense atom reward、commit-only credit 和 temporal-nearest credit 都会降低主指标；去掉 dependency core 或 proof edges 也会损失约 三点三至四点九个百分点。2

总结与反思

• 结果总结： VICT 的增益与“验证器是否能提供动作级证据”绑定，而不是与额外的采样预算绑定。
• 局限性： eligibility 只说明证据接口支持信用分配，不等于证明某个动作具有因果必要性；方法也不能自动把任意黑盒验证器拆开。
• 前沿见解： 对可验证 Agent 来说，下一步竞争点可能不只是更强的 reward model，而是更完整、更可审计的 verifier interface。

二、机器人视频先预测动作粒子，再补回画面：AcrossVAM1.0

认知提取

论文摘要

• 问题。 视频中的静态背景和高频纹理会掩盖运动错误；论文在 VRS benchmark 上用四帧上下文预测五个未来帧，并同时报告全图质量和运动区域质量。5
• 表示。 冻结的 SAM 三 DLP 将上下文拆成机器人、机械臂、夹爪语义粒子和背景 latent；粒子动态核心只有 零点二八百万可训练参数。6
• 数据与协议。 VRS 含二千七百四十六个标注片段，固定测试集为九十二个 clip、四百六十个未来帧；输入分辨率为一百二十八乘一百二十八，观察四帧、预测五帧。6

核心方法

• 粒子动力学。 二层、四头、宽度六十四的时空 Transformer 对粒子身份对齐并滚动状态；冻结 OpenCLIP 文本通过 FiLM 调制动力学，而不是直接进入像素生成器。
• 双流解码。 一条流把粒子渲染为运动结构，另一条流只从最后一帧提取外观；causal dual-stream decoder 和 residual delivery mask 决定哪些区域需要改变。
• 控制实验。 论文比较正确文本、打乱文本、伪文本和随机标签，避免把数据偏置误认为语言因果；同时比较 raw generation、固定 alpha 和 learned causal mask。6

实验成果

• 粒子动力学相对 persistence 将轨迹误差降低 二十一点零个百分点；全图 PSNR/SSIM 从 十九点九七/零点七九六提高到 二十点五七三±零点零零九/零点八零零四±零点零零零二。5
• raw particle generation 将运动区域 PSNR 从 十一点八九提高到 十三点二三；learned mask 进一步恢复静态区域，但 LPIPS 仍为 零点一三零四±零点零零零四，没有超过 persistence 的 零点一二二。6
• 正确文本与打乱文本的轨迹误差差异只有 百分之二点八至三点一；这支持“text-assisted”而非“instruction-controlled”的保守命名。6

总结与反思

• 结果总结： 显式粒子状态确实让机器人运动更容易诊断，但画面质量仍取决于 delivery mask 的区域判断。
• 局限性： 三个 mask seed 共享上游 checkpoint，不能代表完整端到端不确定性；语言控制效应也较弱。
• 前沿见解： 世界模型的可用接口不一定是更大的 latent，而可能是能单独检查接触、位姿和外观传递的低维状态。

三、AERA 不预测答案对不对，而预测继续推理值不值

认知提取

论文摘要

• 问题。 GPQA 的相邻 checkpoint 中既有 recovery 也有 collapse，当前可观察证据并不总是与未来正确性同向；因此“证据变强就该停止”不是稳固假设。9
• 目标。 AERA 离线构造 residual utility 标签，推理时只使用 response distribution、时间变化、re-solving、语义和计算成本特征，不读取未来 checkpoint correctness。10
• 评测协议。 主评测是完整 response pool 上的 offline sequential replay；平均 responses 是 sampling proxy，不等同于 wall-clock latency 或 FLOPs。在线试验使用独立五十题 calibration 和三百题 untouched test。10

核心方法

• 五组特征。 控制器观察 answer distribution、temporal change、re-solving consistency、semantic consensus 和 compute cost；这些特征描述当前前缀及其变化，不宣称它们本身就是正确性。
• 顺序决策。 每得到一个 response block，控制器重新计算 residual utility，在允许的准确率损失和阈值集合中选择继续或停止。
• 泄漏隔离。 future correctness 只用于离线监督；部署时不可见。阈值必须在独立 calibration set 上选，不能从测试集回看后直接当生产点。10

实验成果

• GPQA 对齐 checkpoint 中 recovery 有 四十二次，collapse 有 十四次；在十四次 collapse 中，仍有六次 majority ratio 变大、七次 entropy 变低、五次 semantic consensus 变高。
• 离线 GSM8K 上，AERA 达到 百分之九十二点六一 accuracy，相比固定一百二十八 responses 的 百分之九十三点零一，completion tokens 减少 百分之九十五点九九。10
• 嵌套 GSM8K 评测达到 百分之九十四点二八 accuracy，平均 七点八八 responses；Fixed-128 为 百分之九十四点一二。在线三百题中有 二百八十三题在四个 responses 停止。10
• 在 τ 等于零点三的 paired bootstrap 中，GSM8K 相对 Fixed-128 的差异为 正零点二四个百分点，百分之九十五区间为 负零点零三至正零点四九；GPQA 差异为 负零点二一个百分点，区间为 负三点三四至正二点八四，均未建立百分之五水平上的差异。10

总结与反思

• 结果总结： AERA 证明了“接近满算力准确率、显著减少采样”在规定 replay 和校准协议下可行。
• 局限性： 论文的 responses 和 completion tokens 不能直接换算成真实延迟、能耗、吞吐或控制器开销；在线结果只有一个 generation seed。
• 前沿见解： test-time scaling 的核心接口可能从 confidence threshold 转向 future compute utility，但跨数据集迁移仍需独立校准。

四、REINS 把安全干预从“加拒答”改成“减有害路径、加拒答路径”

认知提取

论文摘要

• 新测评。 GUISE 包含九百条带复杂 wrapper 的 harmful prompts，并配对表面场景相近的 safe prompts；它测试的是上下文伪装，而不是直接命令。12
• 模型。 评测 Qwen 三点五四 B Base 和 Qwen 三点五二 B Base，安全指标包括 harmful response rate、safe refusal rate 和 collapse rate，同时检查 MMLU-Pro、GPQA 与 locality。13

核心方法

• Harm-Inhibit。 根据当前 prompt 选择支持有害 continuation 的 SAE features，在生成过程中抑制这些 feature，降低复杂 wrapper 下继续展开有害内容的倾向。
• Refusal-Enhance。 从 calibration 中得到安全拒答 feature 并增强，使模型进入稳定的 refusal trajectory，而不是因过强干预产生空洞或退化输出。
• REINS-Gate。 在 prompt 侧决定何时开启干预，尽量把一般能力和非目标输入的改变限制在安全范围内。15

实验成果

• 在 GUISE 上，原始模型和 Random-SAE 对约 百分之九十的复杂包装有害 prompt 仍产生 harmful responses；REINS 在最低 HRR、最高 SRR 和低 CR 之间同时取得最好组合。13
• 相对最强基线 CorrSteer-A，REINS 将 HRR 再降低 百分之三十九点八，SRR 约为其 二点七倍；低 CR 表明安全增益不是单纯输出坍塌。13
• GUISE 对三种 Qwen Base 模型的平均 HRR 为 百分之八十八点六，高于 AdvBench 的 百分之六十五点六、HarmBench 的 百分之五十二点九和 JailbreakBench 的 百分之五十二点五，说明 wrapper 是不同的失败面。13
• Qwen 三点五二十七 B 在 AdvBench 与 JailbreakBench 上 HRR 分别接近 百分之零点二和百分之零点八，但 GUISE 仍有 百分之十五点二的 harmful response，模型规模不能替代场景覆盖。13

总结与反思

• 结果总结： REINS 的证据支持“抑制有害支撑与增强安全拒答需要协同”，而不是只寻找一个拒答方向。
• 局限性： GUISE 是论文构造的 wrapper benchmark；判定结果依赖三类 judge 和 SAE feature 选择，不能直接等同真实部署风险。
• 前沿见解： 可审计的安全控制接口需要同时报告目标行为、一般能力、过拒答和坍塌，而不是只报 refusal rate。

认知模型

五、VISTA 让通过验证的学生轨迹反过来修正教师

认知提取

论文摘要

• 问题。 参考条件可能让教师偏好“reference solution”等学生不可见信息，也可能压低学生发现的有效替代路径；固定教师目标会因此误导学生。16
• 方法。 VISTA 保留标准 OPSD 的 student update，只在 outcome verifier 接受的 rollout 上更新 teacher，并选取 teacher–student KL 最大的 top-k token positions。17
• 成本。 复用原 rollout 和 loss，不需要额外 sampling 或 separate reward objective；实验覆盖 Qwen 三不同规模和 AIME24、AIME25、HMMT25。17

核心方法

• 结果门控。 verifier 接受的轨迹才提供 teacher-side soft target；失败轨迹仍参与标准 OPSD 学生训练，但不把未知错误写回教师。
• 分歧选点。 在通过验证的轨迹中计算 teacher–student KL，选最多 k 个最大分歧位置；论文测试的强工作区间为 λ 不低于零点七五、k 在十六至三十二之间。
• 保留互补性。 稀疏更新避免教师快速收敛到学生分布，保留 privileged teacher 的额外能力；图示之外，论文还分析显式 reference attribution 和教师能力保持。19

实验成果

• VISTA 在一十七亿、四十亿和八十亿参数规模上，相对 OPSD 的三基准 Avg@12 分别提升 零点六、零点七和二点一分，九个规模—基准组合中有八个达到论文报告的最佳结果。16
• Qwen3-8B 上，OPSD Avg@12 为 六十四点八；KL top-k 位置选择达到 六十六点九，高于首部、随机和尾部位置选择。17
• k 等于十六时，AIME24 和 AIME25 Avg@12 分别为 七十八点六和七十三点九；k 过小或超过三十二后出现先升后降趋势。17

总结与反思

• 结果总结： 结果验证提供了“学生这次确实走通了”的最低可信门，KL 则提供了“教师在哪些位置最可能不合适”的定位。
• 局限性： 结果 verifier 适合数学和代码等可判定任务；对开放式推理，门控可靠性和 ideal problem-only distribution 仍未解决。
• 前沿见解： privileged teacher 不必是静态教师，未来的蒸馏系统可能把“谁在何处更可靠”作为训练对象。

多模态

六、Token-Budget Distillation：把完整视频语义搬进百分之十 token 的学生

认知提取

论文摘要

• 问题。 视频帧数带来 token explosion；压缩后直接训练会发生 semantic drift，例如把“骑自行车”漂移成“移动物体”。21
• 框架。 冻结 pretrained backbone，只更新 LoRA；学生分支接入 FlashVID 压缩，教师分支保留 full-token 输入。22
• 任务。 在 MVBench、VideoMME、EgoSchema 和 LongVideoBench 上评估 LLaVA-Video、LLaVA-OneVision 与 Qwen3-VL-8B-Instruct。22

核心方法

• 答案区域蒸馏。 不让学生无差别复制完整输出分布，而是在 answer region 对齐教师 logits，减少背景 token 对监督的稀释。
• GT-anchored margin。 以 ground-truth token 为锚点，要求目标答案与竞争 token 保持足够置信间隔。
• 可靠性控制。 动态 KD warmup 和 reliability-aware control 调节不同样本的蒸馏强度；骨干冻结后，训练压力集中在 LoRA 适配器。

实验成果

• 在 LLaVA-Video、保留率为 百分之十时，TBD 保留 Vanilla 平均准确率的 百分之九十七点零。21
• 在 LLaVA-OneVision、保留率为 百分之十时，平均分为 五十八点四，达到相对 Vanilla 的 百分之一百点零。22
• 论文报告在百分之二十和百分之十两种压缩强度下均超过 compression-only baselines，但没有把 token 保留率直接等同于真实端到端延迟；实际收益仍取决于压缩器、硬件和 KV/cache 实现。22

总结与反思

• 结果总结： TBD 的主要贡献不是再做一个压缩器，而是用 full-token teacher 约束压缩后的语义边界。
• 局限性： 结果依赖三个骨干和四个视频 benchmark；“百分之十 token”不自动等于百分之十成本。
• 前沿见解： 多模态压缩的关键指标应从 token 数量扩展到动作语义、答案区域和注意力漂移是否保持。

具身智能

七、PanelShield：让机器人先过规则检查，再去拧工业面板

认知提取

论文摘要

• 任务。 系统从 task-relevant manual evidence、设备状态和用户指令生成 parameterized action primitive sequence，再把序列转成可计算 execution run。24
• 安全接口。 LTL 检查跨步骤的全局时间性质，Safety FSM 检查模式和互锁下的局部转移合法性；两者都输出 rule–location–cause。25
• 实验。 论文覆盖三类工业设备面板的多级长程 benchmark，并进行仿真和真实机械臂实验。25

核心方法

• 证据条件规划。 VLM 读取指令、可观测设备快照和相关手册条款，输出带参数的 primitive 序列，避免直接对自然语言计划做二次解释。
• 双重形式化检查。 状态先被抽象成 mode、interlock、alarm 和关键读数，再由 transition operator 构造 symbolic run；不确定观察被保守地视为检查失败或触发重新观察。
• 反例驱动修复。 任何失败都返回最早违规步骤、规则标识和原因，生成 repair instruction 后重新验证，形成 generate–verify–repair–re-verify 闭环。27

实验成果

• 复杂安全约束任务的 violation rate 降至 百分之二点七，总延迟为 四点一秒。24
• 论文报告相对 foundation-model-only planning baselines 的任务表现提升，并在真实机器人实验中展示端到端可行性；原文未在摘要中给出真实平台的完整成功率拆分，不能把仿真数字外推到现场。
• 规则库按 panel family 编译，在线只激活任务相关条款；新设备仍需要人工审计模板和规则适配，不能理解为零配置迁移。25

总结与反思

• 结果总结： PanelShield 把安全从“规划后的评价”改成“执行前的可计算门”。
• 局限性： 形式验证覆盖的是抽象状态与程序约束，不等于感知正确性或连续动力学安全已经被证明。
• 前沿见解： 工业 Agent 的关键护栏可能不是更长的 prompt，而是能定位到动作步骤的反例和可重放状态。

AI4Science

八、MAIL：让化学假设沿着文献时间线逐轮变厚

认知提取

论文摘要

• 问题。 化学假设需要机制精度、创新性和实验可行性；静态 inspiration corpus 和人工筛选限制了规模与新颖性。28
• 数据。 论文在 TOMATO-Chem 和新构建的 HN-NS（高新颖性 Nature/Science challenge）上评估，并比较 MIOS、MPOS 与专家科学质量评分。29
• 边界。 inference 时的 feedback 是 LLM 自评，不是人类在循环中的实时打分；“literature-grounded”仍依赖检索到的文献是否覆盖关键机制。29

核心方法

• 动态检索。 模型从背景中提取化学实体、机制和评价维度，生成 Boolean query，并按时间区间检索相关论文；后续 query 受当前假设和 feedback 影响。
• 压缩记忆。 每轮把选中的灵感压成包含机制、材料和科学主题的结构化摘要，避免把全部历史文献塞回上下文。
• 四维自评。 feedback 检查 validity、novelty、significance 和 potential，并把“机制含糊、与已有工作重复、实验细节不足”等缺口变成下一轮检索和生成条件。31

实验成果

• 在 TOMATO-Chem 和 HN-NS 两个数据集上，MAIL 都取得最高 MIOS、MPOS 和整体专家科学质量评分；这些指标衡量的是对历史目标假设中心思想与方法要素的恢复，不等同于真实实验成功。28
• 检索论文数的实验显示，中等数量的 inspirations 优于过少或过多；上下文越长并不自动带来更好的科学假设。29
• 论文的专家评价表采用每个维度零至二分；自动指标与专家评分的相关矩阵被分别报告，说明“像历史目标”与“科学质量”需要分开看。32

总结与反思

• 结果总结： MAIL 把文献检索、记忆压缩和自评反馈放进同一条假设演化轨迹，改善了 benchmark 上的结构与机制完整性。
• 局限性： 论文仍以历史假设恢复和专家评分为主，没有证明生成假设已经通过化学实验；检索数据库和提示策略也会影响结果。
• 前沿见解： AI4Science 的关键不只是“生成一个新想法”，而是让每轮新增文献都能解释自己改变了假设的哪一部分。

Infra

九、H-Scale：NVFP4 量化不再只盯着权重均方误差

认知提取

论文摘要

• 问题。 传统 scale selection 主要优化 plain weight reconstruction error，可能与真正影响层输出的误差不一致；NVFP4 的 group size 为十六，scale 误差会直接影响低 bit 表达。33
• 方法。 H-Scale 用校准激活得到 diagonal second-order proxy，在 E4M3 硬件有效尺度的短窗口内逐组搜索；量化权重编码和推理图保持不变。34
• 成本。 需要离线校准和尺度搜索，但推理阶段不增加额外开销；实验覆盖 Qwen 三十 A 三、Qwen 三点五、Qwen 四 B 与 LLaMA 三点一等模型家族。34

核心方法

• 输出感知目标。 用激活加权的误差近似层输出扰动；高能量输入通道承担更高惩罚，尺度搜索不再把十六个权重视为同样重要。
• 硬件有效搜索。 对每个 group 从 max-abs 初始化，在 E4M3 local-scale grid 上进行双向短窗搜索；默认窗口为十六个候选，向上最多六步、向下保留九步。
• 可插拔。 H-Scale 只替换局部 scale selection，可叠加在 RTN、GPTQ、四 over 六和 ArcQuant 等 NVFP4 pipeline 上。34

实验成果

• 在 Qwen3-4B-Instruct 的三十六个 gate_proj 层上，H-Scale 相对 Min-Max 将 activation loss 平均降低 百分之三十二点五，接近 Best Scale oracle 的 百分之四十点八；只优化权重的 Weight-Guided Scale 仅降低 百分之十二点六。34
• 在 up_proj 和 down_proj 上，H-Scale 相对 Min-Max 的平均输出误差分别减少 百分之二十四和百分之三十；权重 MSE 最低的方法不一定输出误差最低。34
• 在约一亿六千八百万个 group 的尺度统计中，百分之三十一点二保持 max-abs 初始化，百分之四十七点九选择更大的 scale，百分之二十点九选择更小的 scale；这说明“只向下缩”并不是完整搜索。34

总结与反思

• 结果总结： H-Scale 的证据支持一个工程判断：NVFP4 的校准目标应贴近层输出，而不是只看权重重构。
• 局限性： 论文报告的是固定硬件、校准和 benchmark 协议下的平均提升，单个任务并非都改善；本文未提供可嵌入正文的独立图像资源，关键结果以原始表格和数字保留。
• 前沿见解： 当硬件格式越来越细粒度，量化算法的可优化对象会从“数值编码”扩展到“硬件约束下的局部尺度分配”。

Agent

十、EvoUndo：Agent 自我进化必须先证明自己能撤销

认知提取

论文摘要

• 问题。 一个 mutation 可能覆盖配置、改变 middleware 顺序、注册 listener 或泄漏资源；静态 inverse 在状态变化后可能无法恢复原观察等价状态。35
• 框架。 EvoUndo 将候选表示为 mutation、witness、recovery program 和 effect contract 四元组，锁定 forward mutation，只允许修复其余三者。36
• 协议。 候选需要通过 development 和 hidden counterfactual states；恢复准入要求百分之九十五 Wilson lower confidence bound 不低于零点八五，失败时 fail closed。36

核心方法

• 观察等价。 不追求整个运行环境的 byte-level equality，而是在 effect contract 指定的 typed state targets 上比较配置、工具 schema、middleware、listener、文件和资源描述。
• 两种恢复语言。 L0 覆盖 configuration、prompt、tool registry 和 routing；L1 增加 middleware sequence、event listener、sandbox file、managed socket 及有序组合恢复。
• 诊断与反事实。 D0 只提供受影响子系统和缺陷分类，D1 增加 canonical state address 与 ordering trace；修复结果必须在隐藏状态池中达到门槛。36

实验成果

• 六百个未见 one-shot self-evolution tasks 中，发现 一百九十七个 capability-positive 但 recoverability 失败的 mutation；原始 recovery representation 下 conventional repair 为 零/一百九十七。35
• deterministic oracle 在 L0 下只能恢复 四十八/一百九十七；扩展到 L1 后达到 一百九十一/一百九十七，说明表达能力是主要瓶颈之一。
• 在 L0 足够的 S0 分层中，exact-address grounding 将成功恢复从 零/四十八提高到 三十八/四十八；在 L1 解锁的 S1 分层中，恢复达到 一百四十二/一百四十三。gpt-oss-120b 上加入 exact-address 后为 一百三十三/一百四十三，Qwen3.8-27B 复现保留了 grounding 与 expressivity 效应，但没有复现同样的负交互。36

总结与反思

• 结果总结： EvoUndo 把 recoverability 拆成状态定位、见证捕获、恢复语义和语言表达能力四个接口，而不是把失败归因于“模型不够聪明”。
• 局限性： 结论只覆盖论文建模的 persistent harness state 和恢复语言；未建模状态不在安全保证范围内。
• 前沿见解： 可持续的 Agent 自我修改需要把 rollback 证明作为搜索空间约束，而不是出错之后的补丁。

应用体系

十一、Timing-Aware Repurchase Prediction：推荐系统从“会不会买”转向“什么时候买”

认知提取

论文摘要

• 数据。 研究使用大型杂货电商平台数千万 customer–item pairs，三十天内未复购的样本以 right-censored 形式保留；评估 horizon 为七、十四和二十八天。37
• 模型。 使用 XGBoost survival:aft，预测复购时间尺度；同一个模型通过 survival CDF 生成不同 horizon 的概率，减少为每个时间窗口单独训练模型。38
• 工程边界。 论文明确比较的是实际部署的 tabular GBDT pipeline，不宣称超越神经 NBR；排序、校准和生产表面各自有不同目标。38

核心方法

• AFT 主模型。 每个 customer–item pair 输出 expected time-to-repurchase，按预测时间排序；同一单输出可对应多个 horizon。
• 删失保留。 三十天内没有复购的 item 不是负样本，而是带下界的 right-censored observation；论文报告删除高 lapsed-days censored items 会让 concordance 从 零点九一以上跌到 零点五五至零点六五。
• 两类发行。 Log-Normal 的边际拟合与 ranking 较好；Exponential AFT 的 ECE 约为 十的负四次方，更适合消费概率的 surface。38

实验成果

• 边际 hazard 的 Weibull 形状参数 MLE 为 零点九一一，略低于一；Log-Normal 的 QQ regression R² 为 零点九九八。38
• 一个 AFT 模型替代三个按 horizon 训练的 binary classifiers，总树数量约减少 三倍，同时在各自 horizon 匹配或超过生产基线。37
• Exponential AFT 的 ECE 约为 十的负四次方，约比 Log-Normal 低 一个数量级；不同 AFT 分布的 ranking 指标相差不超过 百分之零点三相对值。38

总结与反思

• 结果总结： survival objective 把多 horizon 推荐压缩成一个时间模型，并显式暴露排序与校准的分离。
• 局限性： 数据来自单一大型杂货电商平台，且是离线 held-out customer partition；不能直接推出跨平台效果。
• 前沿见解： 推荐系统的“时间”不是额外特征，而可能是连接多个产品表面、标签窗口和校准接口的共同目标。

Benchmark

十二、CoCoBench：任务成功率之外，给多智能体协调能力拆四个构件

认知提取

论文摘要

• 规模。 CoCoBench 包含 八百九十七个 oracle-validated instances，覆盖四种协调构件、十类任务，并在集中式/分布式观察、不同模型和团队规模下评测。40
• 指标。 SR 只回答任务是否完成，CS 评估轨迹中是否出现了与协调构件相关的正确行为；两者故意不合并成一个分数。41
• 模型。 论文评测十一种 MLLM，并比较 image/blind observation、centralized/decentralized policy 和二至四个 agent 的团队规模。41

核心方法

• 四个构件。 D1 task allocation、D2 sequential ordering、D3 mutual exclusion、D4 handoff coordination，分别对应“谁做什么”“何时做”“谁能占用共享资源”“中间物如何交接”。
• 可执行实例。 任务被映射到 household environment 的对象、容器、角色和 skill interface，执行轨迹可以逐步检查依赖、占用冲突、affordance 和非法 skill。
• 双指标诊断。 论文把终局 success 与轨迹 coordination score 分开，避免“非法捷径到达目标”被当成良好协作。43

实验成果

• 在完整八百九十七实例、集中式图像观察协议下，GPT-五点六-sol 取得最高整体 SR 百分之八十四点八和 CS 零点九零；不同构件的最佳模型并不相同。41
• Claude Opus 四点八的 legal-plan rate 为 百分之九十六点三，但 SR 为 百分之七十八点五；GPT-五点六-sol 的 legal rate 为 百分之九十一点八，SR 为 百分之八十四点八，说明合法协调与最终完成并非同一件事。41
• 开源模型平均 protocol failure 为 百分之十七点五，InternVL 三点五八 B 的 budget exhaustion 达 百分之六十一；开放模型中 budget 与 protocol termination 合计平均为 百分之五十四点三。41
• 任务类型之间的能力迁移有限：Qwen3-VL-8B 在 D1 最好，Claude Opus 四点八在 D2 最好，GPT-五点六-sol 在 D3 和 D4 同时领先。41

总结与反思

• 结果总结： CoCoBench 把“协作失败”从一个终局标签拆成四个可定位构件，能解释模型为何完成或为何碰巧完成。
• 局限性： 任务运行在可执行 household environment，CS 的构件定义和 skill interface 仍由 benchmark 设计者规定；模型 API 延迟也不能直接比较 FLOPs。
• 前沿见解： 多智能体能力的下一轮评测，应把合法性、构件得分、失败类型和终局成功同时保留，而不是继续只看 success rate。

收束