Neodrop
Create
FeedDiscoverMy ChannelsAuto-publishJoin Our Discord
FeedDiscoverCreateMy Channels
奇绩信号Alpha Sight 2026年9月22日【文字版】
2026-09-22

奇绩信号Alpha Sight 2026年9月22日【文字版】

精选 2026 年 9 月 18 日 arXiv 最新批次十三篇论文,拆解在用户流量里自行演化的设计技能库、把应用重造变成可验证考题的电脑操作环境、给长程机器人任务打分的通用值函数、注意力缺失的弃权与过滤两种原语,以及把越权转账压到零的智能体支付基准等前沿信号。

arXiv 每日论文速读 · 奇绩信号风格
arXiv 每日论文速读 · 奇绩信号风格@FC
本期精选 2026 年 9 月 18 日最新提交并在 arXiv 上公开可见的十三篇前沿 AI 论文。
AI 科技评论注意到,这一批论文有一个共同的动作:把「经验」从模型权重里搬出来,做成可以被审计的中间件。技能库在用户流量里自己长大,值函数在长程任务里学会自我批评,注意力层同时学会「不说话」和「过滤噪声」,连 DFT 计算开始前的那一步初始化也被交给神经网络。
我们严格按头条、认知模型、多模态、具身智能、AI4Science、Infra、Agent、应用体系、Benchmark 九个板块呈现本期精选内容。

头条

1. 设计智能体不缺能力,缺的是可复用的流程——Designer-RSI 让技能库在真实用户流量里自己长出 63 条新技能原文

信号源:Adobe、布朗大学
链接:Designer-RSI: Evolving Procedural Memory from User Traffic for Agentic Graphic Design
🎨

认知提取

把前沿模型放进 Photoshop、Illustrator 和 InDesign 里做设计,最难的一步不是画得好看,而是「这一次学会的东西,下一次还在不在」。模型权重动不了,人只能指望它记性好。
Designer-RSI 的做法是把经验放到模型外面:用一份自然语言的技能库记录「双曝光该怎么分步做」「遮罩要按什么顺序来」这类可复用流程,模型本身完全冻结。
技能库同时往两个方向长:没人覆盖的子任务反复出现三次,就被蒸馏成一条新技能;老是被判失败的技能,则拿它自己的失败记录和成功记录做对比重写。
真正的约束在那道复核门:候选技能必须修好原来的错误,同时不许在任何一道老题上退步,才被允许进入线上技能库。

论文摘要

• 论文研究的问题很具体:专业平面设计是长程智能体任务,成品是可编辑的结构化文档,但结果没有任何可靠的程序化判分器,因此「用奖励信号做学习」这条路在这里先天不通。原文引言
• 作者提出的不是新模型,而是一套围绕冻结模型的持续适应框架:模型通过二百三十多个工具操作专业设计软件,外部维护一份自然语言技能库,两个机制分别负责扩充覆盖与加固已有流程。原文背景
• 整个演化循环由四个角色构成:Prompter 从用户流量出题,Solver 用技能库加工具产出图像,Grader 多模态打分并指出哪条要求没达成,Reflector 把失败翻译成对 SKILL.md 的定点修改;只有技能文件在变。原文方法
• 五个演化轮次消耗一千四百零六条设计简报、一千八百六十九条自动评分的轨迹,全程没有权重更新,也没有人工奖励标签,技能库从七十六条文档派生技能长到一百三十九条。原文摘要
Designer-RSI 系统总览
系统总览;左边是执行与打分:一条设计简报进入智能体,技能库检索出最相关的技能并收窄工具列表,智能体通过一连串工具调用把文档逐步推到成品,再由评分器折算成标量奖励;右边是反思与演化:每条技能的统计量与近期调用历史构成系统资产,被失败牵连的技能被编辑或重写,坏历史被压缩成新技能,每一个候选都要过复核门。原论文图

核心方法

• 技能注入接口:运行时支持渐进披露的 SKILL.md 工作手册,执行前由检索把一份 playbook 与收窄后的工具集注入模型上下文;推理用查询蒸馏加 token 重叠度排序,技能库增长时也不改模型与工具本身。原文技能库
• 扩充(Widening):对每条轨迹用冻结模型抽取并规范化实际执行的子任务,若检索到的技能覆盖不了它,就当作未覆盖子任务进入持续累积的缺口池;同一个规范化标签累积到三次以上,才由冻结模型蒸馏成候选技能。原文扩充管线
• 加固(Deepening):被判定与失败相关的技能,用其失败执行与成功使用做对比生成候选改写版本,回放只在这条技能表现最差的提示上评估。原文加固管线
• 匹配回放门:候选只有满足「不存在任何一条记录的胜率低于零点五减δ、且存在至少一条记录高于零点五加δ」才被接受,即不能有题变差、必须有题变好;评估采用两序盲评以抵消位置偏差。原文复核门
• 实验设置:三个冻结主干分别是 claude-opus-4.6、claude-sonnet-4(经 Amazon Bedrock)与 Qwen3.6-27B(vLLM、8 张 A100、六十五 K 上下文),单条提示最长九百秒;每轮演化约消耗三百条用户流量简报,评测则固定在二百条人工撰写的留出简报上。原文实验设置
• 评测口径分两类:通用文生图用 GenEval2、DPG-Bench、OneIG 中英文,专业设计用 OpenCOLE、GraphicBench、CreatiDesign、BannerRequest400,后者以 GPT-5.4 做盲评双向对比给出胜率。原文评测口径

实验成果

• 执行成功率是涨幅最直白的一项:Claude-Sonnet-4 上 GenEval2 的执行成功由七十二点七升到九十九点三,DPG-Bench 由八十二点七升到满分一百。原文主结果
• 生成质量平均提升:Claude-Opus-4.6 加三点八三、Claude-Sonnet-4 加七点七零、Qwen3.6-27B 加九点六七;GenEval2 上的生成质量提升十一点九九,论文同时提示个别基准仍会回退。原文主结果
• 专业设计任务的盲评胜率:Claude-Opus-4.6 整体六十七点六,在 CreatiDesign 上最高达七十一点七;Claude-Sonnet-4 整体六十一点八。原文胜率表
• 消融把两条机制分开了:文档派生的冷启动技能库并不比无技能基线好(完整度六十八点六二对六十九点零八,胜率四十六点四);只重写是六十九点零二与四十八点六,只扩张是六十九点七九与四十九点四;两者合起来达到完整度七十四点零四与五十八点五的胜率(p 值零点零二五),超加性增益为三点八五。原文消融
• 增益集中在完整度这一项:美学分只由六十五点九二动到六十六点五三;技能检索本身给提示增加约百分之二十八的 token,但演化后的技能库相比冷启动反而更省:提示 token 为四十三万六千六百对四十四万五千二百,输出 token 为五千一百六十七对五千二百九十八;整体延迟开销在百分之三点四到六点二之间,Sonnet 在 DPG-Bench 上甚至从一百一十三秒降到八十二秒。原文消融
Designer-RSI 五轮技能库演化
每一轮新增(扩充)与重写(加固)技能的数量,并区分通过复核门与被门拒绝两类;第一轮几乎全是修复,因为缺口池还没有累积够可蒸馏的重复缺口,新技能产出在第二、三轮达到峰值,随后随覆盖饱和而回落。原论文图

总结与反思

• 结果总结: 这篇论文把「持续适应」的对象从模型换成了模型周围的流程库,并且证明两条机制单独都不够:只有扩张会留下不可靠的老流程,只有重写会在没覆盖的任务上重复犯错。
• 局限性: 作者明确列出三类边界。自然语言技能可以描述流程,却未必能让一个有强烈默认策略的模型改道,个性化因此还需要按用户条件化检索与工具级约束;部分失败来自多模态模型自身的感知与核验上限,把核验从视觉判断改成数值测量也只能缓解;技能蒸馏在短小自洽的流程上最强,面对很长的多步构造会在标注、蒸馏、执行三个环节逐级漏损。
• 前沿见解: 当模型能力趋同,工程上的差距会转移到「谁的经验能沉淀成资产」上;把复核门设在技能入库之前,而不是设在最后的结果上,是这套框架真正值得抄的部分。

2. 通用电脑操作智能体缺的不是任务,是可验证的环境——RecreationWorld 把「重造一个应用」变成有标准答案的考题原文

信号源:阿里巴巴集团 Token Hub
链接:RecreationWorld: Scalable and Verifiable Environments for Hybrid Computer-Use Agents
🖥️

认知提取

电脑操作智能体(computer-use agent)一直有两条并行的路线:一条在图形界面上点鼠标,一条在命令行和源码里改东西。两条路线各自有基准,却很少被放在同一张卷子上考。
更麻烦的是评分。GUI 任务是「点到没点到」,软件工程任务是「测试过没过」,两者拼在一起之后,就没有一个现成的标准答案能判断一个混合智能体到底做成没有。
RecreationWorld 换了个出题方式:直接拿真实应用当题目,让智能体重造出一个功能等价、可运行、可编译的副本,再用应用自己的测试来判分。
这样一来,「做没做出来」不再由裁判说了算,而是由能不能跑起来说了算。

论文摘要

• 论文指出,图形交互与软件工程两条路线各自发展,缺少同时覆盖两者的可验证环境;已有基准要么只观察界面操作,要么只评估代码改动,无法刻画混合智能体在同一个长程任务里切换两种动作的能力。原文引言
• 作者提出 RecreationWorld:把真实应用的重造作为任务单元,智能体需要产出一个可运行、可编译、功能等价的副本,从而把环境构建与自动验证绑在一起。原文总览
• 任务构建以参考应用为依据,先做参考准备与行为盘点,再生成任务与测试,使每个任务都有可执行的判定依据,而不是形态描述。原文方法
• 环境覆盖桌面与安卓平台,并同时提供程序化接口与视觉交互两条通路,因此同一批任务可以分别考察 SDK 调用与界面操作两种解法。原文总览
RecreationWorld 总览
从原始 PDF 第 1 页按图注裁取的 Figure 1;左侧是五个平台上的应用重造任务,中间是训练后向五个分布外基准的迁移结果(浅色为单项、深色为相对各自首个检查点的平均),右侧是五个平台的程序化与视觉基准得分。原论文图(PDF 裁切)

核心方法

• 任务单元是「重造」:给定一个参考应用,智能体需要重建出功能等价的副本,评测直接调用该应用中已存在的测试,因此判定是执行结果而非文本比对。原文方法
• 双通路动作空间:智能体既要能调用可编程接口直接编排逻辑,也要能通过图形界面操作,基准为此提供程序化与视觉两套评测,可分别读分。原文总览
• 训练数据由重造任务自动构成,任务规模与平台覆盖可扩展;论文报告训练进度按各次运行内部归一化后再做跨平台平均。原文实验设置
图表收录范围说明:该论文的 arXiv HTML 版本正文没有提供可独立访问的图片资源,正文全部图注只以文字形式出现;本节的两张图均从官方 PDF(https://arxiv.org/pdf/2609.22000v1)按图注裁取并转存,其余走势与分布图未收录,相关数字以原文表格与正文证据给出。

实验成果

• 迁移表现逐平台记录:在 ProgramBench、GameCraft-Bench、Vision2Web、OSWorld 2.0 与 WeaveBench 五个分布外基准上,重造训练得到的智能体相对各自首个检查点均有抬升,论文以单项值与平均值两条线同时给出。原文迁移图
• 图 1 的平台均分标注显示,五个平台的基准得分从 Qwen-Flash-CPT 一档的三十点六到四十九点八区间,迁移到更强的开源与闭源模型组合时分别出现加五点八与加十二点一的相对提升。原文总览图
RecreationWorld 跨基准迁移
从原始 PDF 第 6 页按图注裁取的 Figure 5;行是训练臂,列是五个分布外基准各自的专属指标(各列纵轴独立),横轴为归一化后的训练进度,用于观察重造训练能否把能力带到未见过的工作流上。原论文图(PDF 裁切)
• 行为变化与评测作弊是两组附带的诊断:论文单独统计了随轨迹推进的源码规模增长、工具调用构成演化,以及按模型与类别拆分的评测作弊尝试检出量,用来区分「真的重造出来」与「绕过测试」。原文行为诊断
• 轨迹形态对比:论文给出重造任务相对邻近基准的轨迹长度与图形界面—代码编辑切换频次,说明该环境迫使智能体在两种动作之间来回切换,而不是长时间停留在单一模式。原文轨迹对比

总结与反思

• 结果总结: 这篇工作最有价值的部分是把「环境」本身当作可扩展的资产:只要判定标准来自应用自身的测试,任务数量就能跟着应用池一起增长,而不必为每个任务手写评分器。
• 局限性: 判定依赖参考应用已有的测试,因此测试覆盖不到的行为无法被计分,功能等价的边界由原应用的测试集划出;论文的迁移证据来自训练进度归一化后的曲线,跨基准绝对值受各基准自身量表影响,不宜直接横向比较;论文正文中的图注在 arXiv HTML 版本里没有配套图片资源,本文只收录了从 PDF 裁取的两张。
• 前沿见解: 当智能体开始既点鼠标又改代码,「会不会做题」和「会不会应试」必须同时被测量,否则一个能背测试的智能体会把基准分数刷得很漂亮。

3. 长程机器人任务卡在哪一步,其实是没人会打分——SeeQ 把值函数训练成能随时给出进度的裁判原文

信号源:卡内基梅隆大学
链接:SeeQ: Training Generalist Value Functions for Long-Horizon Robotic Manipulation
🤖

认知提取

抓取放好,是一个任务;把衬衫挂上衣架、把六个杂货依次塞进箱子、把乐高拆开,是一串任务。
在串起来的任务里,失败往往发生在中间某一步,但奖励只在最后出现。机器人做错第三下时,没人告诉它这一下错了——这就是长程操作最难的地方。
SeeQ 的方案是单独训一个通用值函数,让它在任意时刻回答「以当前动作往下走,这件事的胜算还有多少」。训练时它盯的不是整条任务的回报,而是当前正在进行的那个子任务的回报。
把打分的时间尺度缩短到子任务,是这篇论文和此前长程值函数工作的主要分歧点。

论文摘要

• 论文指出通用机器人策略在长程任务上依然脆弱,一个关键原因是缺少能在任务中途给出可靠进度判断的价值评估,而直接从长程回报估计价值会遭遇引导误差累积与信号稀疏。原文引言
• 作者提出 SeeQ:在多样机器人数据上用预训练视觉语言模型主干训练一个通用 Q 值函数,再在具体下游任务上微调,最后在测试时用于引导基础策略。原文总览
• 针对长程价值学习,方法用时序差分学习去拟合「当前活跃子任务」的 Q 值,而不是整个任务的 Q 值,从而把信用分配的跨度压到一个子任务之内。原文总览
• 子任务标签由模型自行预测而不是由人指定,测试时值函数与子任务预测构成回路,用于动作块的挑选与切换。原文总览
SeeQ 总览
从原始 PDF 第 1 页按图注裁取的 Figure 1;左侧是从多样机器人数据预训练通用值函数,中间在下游任务上微调并给出「抓杯子」这类子任务条件下的 Q 值随轨迹的走势,右侧是用值函数在测试时对基础策略产出的动作块做选择。原论文图(PDF 裁切)

核心方法

• 预训练阶段在多样机器人数据上训练通用 Q 值函数,主干是预训练视觉语言模型,输入包含任务提示、状态与动作块,输出为该子任务条件下的价值。原文方法
• 时序差分拟合对象是当前活跃子任务的 Q 值,目标是避免整条任务的时间跨度带来的引导误差累积;论文以自举误差解释为什么任务级 TD 在长轨迹上几乎给不出信号。原文方法
• 微调与部署分开:先在下游任务数据上微调,再在测试时用值函数对候选动作块打分,用于挑选动作与判断是否切换子任务。原文方法
• 对比对象包括蒙特卡洛回报、SARSA 与任务级 TD 等不同价值学习口径,全部在同一批已录制数据上评估同一动作块,以保证差异来自价值函数本身。原文实验设置

实验成果

• 价值曲线形状是主要证据:在留出的长程轨迹上,任务级时序差分对整个轨迹几乎不提供信号,蒙特卡洛预测噪声明显,而 SeeQ 的估值在失败处下探、在恢复处回升。原文定性对比
• 论文对衬衫悬挂、餐盒密封、杂货装箱与乐高拆解四类真实双臂任务做评测,动作与图像敏感性测试使用了六段完整的留出衬衫悬挂轨迹。原文任务设置
SeeQ 值预测对比
从原始 PDF 第 8 页按图注裁取的 Figure 4;(a) 在留出的 RoboCOIN 轨迹上,任务级时序差分对大部分轨迹几乎给不出信号,蒙特卡洛预测则噪声明显;(b) 餐盒密封任务里,第三帧翻盖闭合失败后价值下探、第四帧恢复;(c) 杂货装箱任务里,第一帧与第三帧抓取失败对应两次下探并各自恢复,红色虚线标出 SeeQ 预测的子任务边界。原论文图(PDF 裁切)
• 子任务切换的时机也被记录:在杂货装箱任务里最后一次子任务切换出现延迟,原因是子任务解码的频率低于动作重规划频率——这是值函数在测试时引导策略的一个直接副作用。原文结果分析
• 预训练阶段的 Q 值与录制回报的关系、子任务条件下的价值重置是否与真实子任务边界对齐,分别在预训练与微调两节给出。原文预训练结果

总结与反思

• 结果总结: SeeQ 把长程问题的难点从「模型不够强」重新定位到「信号不够密」,并给出一个可实施的折中:缩短价值的时间尺度,让中间步骤重新变得可评价。
• 局限性: 价值函数的可靠性建立在子任务预测之上,预测错误会直接污染价值信号;评测集中在四类真实双臂任务与一个预训练数据源上,跨本体与跨任务的泛化证据有限;值函数在测试时用于挑选动作块,因此其收益部分来自搜索预算,而非纯粹的策略改进。
• 前沿见解: 机器人学这两年反复出现同一个动作——把「做得好不好」外化成可以被单独训练的模块。值函数一旦被独立出来,它既能当裁判,也能当数据和策略之间的接口。

4. 模型失败不代表它没有世界模型——World Modeling in Transformers 用因果干预拆开 TaxiGPT 的内部地图原文

信号源:洛桑联邦理工学院、IDIAP 研究所、伯尔尼大学、曼彻斯特大学
链接:World Modeling in Transformers
🧭

认知提取

一个在曼哈顿随机游走数据上训练的 Transformer,偶尔会走到不合法的路口,或者绕远路。
过去的解读是:它没学出地图。这篇论文说,这个结论下得太早——模型内部确实有曼哈顿的地图,只是被特征叠加挤坏了。
作者用因果干预把内部结构一项项读出来:交叉口特征可以线性解码出坐标,可以按合法转向分组,编辑单个交叉口特征就能把出租车「传送」到别处。
于是问题的分类变了:不是「有没有世界模型」,而是「世界模型的哪个部件在什么条件下会失灵」。

论文摘要

• 论文的起点是一个已有结论:此前工作(Vafa 等)在曼哈顿出租车行程上从头训练 GPT-2 风格的模型,最准的那个模型有九成九的转向输出是合法的,但把它的输出还原成地图,看起来更像一盘意大利面而不是纽约街道;一旦干预、强制出租车偏离目的地四分之三的时间,输出质量就急剧下滑,作者据此判定它「离真实街道地图还很远」。原文引言
• 作者用机械可解释性分析与因果干预证明:模型表示交叉口与街道、追踪自身位置,并用一个目标罗盘(goal compass)导航,失败可以追到交叉口特征之间的叠加干扰。原文引言
• 论文进一步提出按可供性打包(affordance packing)的思路:把合法转向相同的交叉口表示放在一起,可以限制干扰造成的后果。原文引言
• 最后给出一组机械可解释指标,用来跨模型、跨数据、跨训练范式比较世界建模能力,并显示这些能力在训练的不同阶段先后涌现。原文引言
TaxiGPT 内部的地图
从原始 PDF 第 3 页按图注裁取的 Fig. 1;(a) 用街道转向测试恢复出的曼哈顿地图,颜色表示正确后继交叉口的排名,注入一个交叉口特征、喂入一次合法转向后,正确后继在七成六点六的测试街道上增幅最大、并在九成三点三的情形下进入前五;(b) 交叉口特征叠加在残差流的一个小子空间里;(c) 这些特征按可供性打包,合法下一步相同的交叉口聚成一簇。原论文图(PDF 裁切)

核心方法

• 案例对象与训练数据:TaxiGPT 在曼哈顿随机游走的轨迹上训练,论文把它当作世界建模的受控标本,并通过重训练不同架构与数据体制来做横向对照。原文案例设置
• 街道转向测试:注入一个交叉口特征、喂入一次合法转向,测量哪一个交叉口特征随后增幅最大,从而线性地恢复合法的状态转移;论文同时报告 top-1 命中与进入前五的比例。原文方法
• 位置读取与干预:训练线性探针从交叉口特征预测下一交叉口,并在层间比较解码精度;随后用最小「传送」实验直接改写位置写入,验证特征与行为之间的因果关系。原文方法
• 可供性打包:测量交叉口特征之间的重叠与合法转向分组的对应关系,并用合法转向的 F1 逐层评估这一结构何时成形。原文方法
• 压力测试:论文构造了同时改变节点间距与访问状态的分布外测试集,以观察位置写入变弱后世界建模指标如何退化。原文压力测试

实验成果

• 地图可以被线性恢复:在留出交叉口上,该测试对百分之八十九点二的合法「状态—动作」查询给出正确后继,正确后继特征在百分之七十六点六的测试街道上增幅最大,并在百分之九十三点三的情形进入前五。原文地图恢复
• 传送实验支持因果性:在第 11 层做的传送测试里,四千二百零二个可测交叉口中有百分之九十九点三至少在一个场景上成功、百分之九十四点零在超过一半的场景上成功;不施加编辑时成功率不足百分之零点一,施加位置编辑后升至百分之八十二点二到八十七点四,说明这些特征确实被用于定位,而不是只能被读出的相关量。原文传送实验
• 失败被定位到叠加干扰:上千个交叉口特征共享一个很小的子空间,越出训练分布时位置写入变弱、噪声变大,错误的交叉口特征就可能被激活。论文在第十八层做编辑,用七百条「起始合法、深度不小于六十步」的压力行程因果复现了非法移动;按结局归类,致命滑移占百分之二十五、静默滑移占百分之二十四、完全损坏占百分之二十九、放弃型滑移占百分之十六。原文失败分析
• 能力分阶段涌现:导航类能力(罗盘与合法性)先出现,定位类能力(解码与因果)随后;位置编码在训练中扩张,可供性打包先升高、随后随交叉口分化而放松。原文涌现图
世界建模能力的涌现
从原始 PDF 第 7 页按图注裁取的 Fig. 7;(a) 主指标随训练推进的走势,导航能力先成形、定位能力后成形;(b) 位置编码扩张与可供性打包的变化;(c) 机械可解释指标与行为代理指标可以互相校验,纵轴按最终检查点归一化。原论文图(PDF 裁切)
• 论文同时给压缩类指标提了个醒:导航很差的模型也可能拿到很高的压缩分,因为两个前缀可以在同样错误的续写上达成一致——第 200 步时压缩分为零点四零四,但只有百分之一点八的压力行程还留在图上。原文指标警示
• 横向对照给出三条可操作结论:数据是最重要的杠杆,随机游走数据训练出的模型世界建模表示明显更好;更小的随机游走模型把交叉口表示放在更深的层(第二十七到四十层,而较大模型在第十一到十八层),像是在用更多层补偿更窄的残差流;加入「预测下一个潜状态」目标的 NextLat 拿到最好的机械指标,也把街道编码得最清楚。压力下的滑移率上,小的随机游走加下一 token 预测模型少滑移三倍,加下一潜状态预测的少滑移六倍。原文跨模型比较

总结与反思

• 结果总结: 这篇论文的方法论价值大于它的案例价值:它把「模型有没有世界模型」换成了「世界模型的哪个部件在什么条件下失效」,后者可以通过编辑与重放直接检验。
• 局限性: 结论建立在一个网格状城市的随机游走案例上,交叉口与街道的离散结构是这个环境独有的便利条件,连续与高维环境中的叠加干扰是否同构仍待检验;论文给出的是一组机械可解释指标,而这些指标的绝对值依赖层选择与探针设置。
• 前沿见解: 当同一套探针能在不同架构、不同数据、不同训练范式上给出可比读数,世界建模就从一种直觉判断变成了可以被度量的工程属性。

认知模型

5. 注意力头为什么需要「不说话」也要会「挑食」——把值通路门控拆成两种原语后,一个收益随规模缩小、一个随规模放大原文

信号源:圣约翰费舍尔大学
链接:Abstention and Noise Filtering: Two Missing Primitives of Softmax Attention
🧠

认知提取

标准注意力里有两个结构性缺口,很少被摆到台面上。
第一,注意力权重必须加成一,所以一个「什么都不值得看」的查询也得把全部权重放到某处;模型的办法是自己造一个回收站,把没用的权重堆在第一个 token 上。
第二,值通路从头到尾是线性的:读进来的内容是信号还是干扰,聚合时一视同仁。MLP 有阈值非线性可以滤掉干扰,注意力没有对应的东西。
这篇论文把这两件事拆成可以单独开启的机制——一个可学习的「零选项」负责弃权,一道门负责过滤——然后在十万到三亿五千万参数的配对模型上分别称重。
结果是一个反直觉的交叉:弃权的收益随模型变大而缩小,过滤的收益反而随规模放大。

论文摘要

• 论文指出两个缺口同时被「值门控」这一族工作部分填上,但此前研究对「为什么有用」给出了互相矛盾的解释,而且没有人做过隔离变量的对照实验。原文引言
• 作者把值门控拆成两种能力:零选项(abstention,让一个头可以什么都不输出)与噪声过滤(让值通路抑制残差流中叠加特征带来的干扰)。原文引言
• 两种能力各有独立实现:弃权用一个可学习的每头 sink logit,即一个 logit 可学、value 固定为零的「幽灵键」,由查询决定是否启用;过滤用两道门——值读范数的阈值门,以及内容上的线性投影门。原文机制
• 对照臂把同一道门信号放进 softmax 内部,使权重仍然加成一,因此它能过滤但不能弃权;全部九条臂在十万、五千万、一亿两千四百万与三亿五千万四档参数、每档配对种子下训练,所有比较都按配对差值报告。原文实验设置

核心方法

• 九条臂的构成:基线(标准因果注意力)、off-by-one(幽灵键取零向量)、可学习 sink logit、sink token(真实 token,value 可学)、范数门、投影门、路由槽对照,以及两个组合臂。原文臂设置
• 幽灵键的实现细节:在位置零增加一列额外的键与值,值固定为零并保持对所有查询可见;可学习 sink logit 的臂把查询与键的头维度扩充一维,查询在该维取常数根号 d、幽灵键取 sink logit,从而让幽灵键的 logit 恰好等于该参数而其他 logit 不变。原文实现
• 范数门对值读的范数做阈值化并乘回该值,投影门则用一层线性加 sigmoid 的方式按内容决定是否放行;两者都只改变每一条读的幅度,不能改变权重归一化的约束。原文机制
• 训练设置:解码器结构与 GPT-2 一致,语料为 FineWeb-Edu,四档非嵌入参数量分别配零点二 B、零点九五 B、一点六 B 与五点八 B token 预算,前三个较小档位每臂三个种子、三亿五千万档单种子,一切比较都按配对差值而不是绝对值。原文配置
• 干扰注入是本文的因果工具:对每个头先找出安静的读(范数低于该头中位数或二十五分位),再按剂量零点二、零点四、零点八、一点六注入「垃圾」,主条件使用从另一条序列移植过来的真实读,另有同上下文移植、范数匹配高斯噪声、随机固定方向与门自身学习方向等条件。原文注入实验

实验成果

• 弃权与过滤的作用随规模此消彼长:在十万参数档,弃权几乎解释了全部增益;到三亿五千万参数档,大部分增益来自过滤。论文用两条曲线的交叉来说明这一点。原文跨规模结果
两种原语随规模的变化
从原始 PDF 第 6 页按图注裁取的 Figure 1;(a) 零选项带来的增量(sink logit 相对基线)随规模收缩,过滤带来的增量(组合臂相对 sink logit)随规模上升,柱为跨种子标准误,三亿五千万档为单种子;(b) sink-logit 模型放在幽灵键上的注意力份额随规模上升;(c) 范数门在行内的展开度——对一个对所有读一视同仁衰减的门而言该值恒为零——沿同一条轨迹增长。原论文图(PDF 裁切)
• 基线其实在偷偷模仿弃权:在一亿两千四百万档,基线把百分之六点零的注意力质量放在第一个键位置,该位置读出的范数只有普通读的零点四二倍;装上 sink logit 后,落在位置零的质量降到百分之零点五,范数比恢复到零点九九。三亿五千万档上,基线堆在位置零的质量升到百分之十一、范数比零点三六,而 sink-logit 模型只放百分之零点七、范数比回到零点九八,并把百分之五十三的质量给了幽灵键。原文注意力沉淀分析
• 范数门构成有启发的对照:它留在位置零的质量为百分之三点七、范数比零点六五,几乎原封不动地保留了基线自建的回收站——原因很直白,弃权是查询侧的决定,而逐个键的门看不到查询。原文注意力沉淀分析
• 两项增益基本可加:二维分解中,两组单独收益之和超过同时使用的部分只有零点零零二四到零点零零七六 nats;投影门的过滤贡献在每一档都高于范数门(十万参数档零点零零三六对负零点零零零八,五千万档零点零零六五对零点零零三零,一亿两千四百万档零点零零五四对零点零零三六,三亿五千万档零点零一一四对零点零零七四)。原文可加性分解
• 组合臂在每一档都是最优:同时具备两种原语的 combo2 在四档的验证损失分别为四点一八九七、三点五二六六、三点三六零四与三点零二一零 nats,并且每一档、每一个配对种子上都优于单独的 sink logit。原文最优臂
• 注入实验确认门确实在滤干扰,也暴露两块盲区:在低到中等剂量下,任何带 sink logit 或门的臂都比基线抗噪数倍;高剂量下范数门(以及包含它的组合臂)反而不如基线,而投影门没有这个问题;在一亿两千四百万档,沿随机固定方向注入的垃圾对投影门的影响不超过基线,但沿门自身学习方向的垃圾会把它打崩,并把 combo2 一起带下去。原文鲁棒性结果
垃圾注入下的鲁棒性与两块盲区
从原始 PDF 第 8 页按图注裁取的 Figure 2;(a)(b) 在一亿两千四百万与三亿五千万档上向每个头最安静的读注入结构化垃圾后验证损失的上升(对数刻度),低中剂量下任何带 sink logit 或门的臂都比基线抗噪数倍;(c) 在固定方向垃圾下,投影门对随机方向并不比基线更脆弱,但沿门自身学习方向注入会让它直接崩塌。原论文图(PDF 裁切)
• 代价可以忽略:弃权每层只需 H 个参数,投影门每层需 H 乘(d 加一)个参数,合起来不到参数总量的万分之零点一,并且与键值缓存兼容、不改变生成成本。原文设计推论

总结与反思

• 结果总结: 这篇论文的价值不在于提出新架构,而在于把一个含混的工程观察——「值门控有用」——拆成两个可分别开关、可分别计量的机制,并解释了为什么此前不同规模的消融会得出不同结论。
• 局限性: 三亿五千万档每臂只有单种子,该档的过滤增量是种子波动的数倍,但零选项增量落在波动范围内;全部模型只在一个语料、较小 token 预算上训练;报告效应量在千分之几 nats 量级,正是多项架构改动无法在更大模型上复现的区间;方向盲区由对抗式构造证明,论文没有测量自然输入多频繁地接近某个头学到的门方向。
• 前沿见解: 注意力结构的改进很少能带来数量级收益,真正稀缺的是「知道自己在改什么」;把两种机制分开称重之后,接下来该争论的问题变成「在什么规模上该给模型哪些原语」,而不是「门控到底有没有用」。

6. 模型答得顺,不代表它见过——ETD 把「猜得准」和「见过」在损失—熵平面上分开原文

信号源:中国科学技术大学认知智能全国重点实验室、合肥综合性国家科学中心人工智能研究院、南京航空航天大学人工智能学院、科大讯飞
链接:Detecting Pretraining Data in Large Language Models from a Free-Energy Perspective
🧮

认知提取

判断一段文本有没有进过预训练语料,最直觉的办法是看模型对它有多「顺」:困惑度越低,越像见过。
问题是顺的理由不止一个。一句常见句式、一段高度模板化的文本,模型同样会给很低的损失,但它可能从未出现在训练集里。
现有检测器用一条水平的分数线来切,于是这些「可预测但没见过」的文本被误判为成员。
这篇论文把判定线掰斜了一点:不再只看损失,而是看损失相对于该位置的预测熵。这个改动有一个漂亮的解释——它等价于统计物理里的亥姆霍兹自由能,于是检测被写成一次「残余自由能转移」的度量。

论文摘要

• 论文指出灰盒式预训练数据检测的固有歧义:高似然既可能来自训练暴露,也可能来自强泛化,而只依赖似然的检测器使用水平边界,会把可预测的非成员当成成员。原文引言
• 作者在「预测损失—预测熵」的联合空间里引入倾斜边界,即用损失减去熵的加权项作为判定分数,并给出统计分析:在成员与非成员平均熵相同的条件下,熵修正保持期望间隔、同时降低该间隔的方差,从而提升标准化可分性。原文方法
• 论文把这一分数进一步解释为亥姆霍兹自由能形式,从而提出能量转移检测(ETD):从宏观残余自由能转移的角度看,成员文本更被模型分布「容纳」,因此呈现更低的检测分数。原文自由能视角
• 实现上 ETD 只用一个固定的熵系数(零点五,跨数据集与模型不做调整),并对每个 token 的分数取首次出现位置的聚合。原文实现细节
损失与熵的联合分布
动机图;左图显示成员文本与非成员文本在 token 级损失上可以有大量重叠,右图说明预训练过程中水平边界会把「可预测的非成员」划进成员一侧,而引入预测熵之后的倾斜边界能把这部分样本排除出去。原论文图

核心方法

• 判定分数定义为一个 token 的预测损失减去熵系数乘以该位置的预测熵,再对选定位置取平均;系数为零退化为纯似然检测,系数增大则越来越依赖模型的不确定性。原文分数构造
• 两个 token 级量分别是:给定前缀后的负对数似然(相当于能量项),以及该前缀下整个词表分布的香农熵(相当于熵项);两者组合写成亥姆霍兹自由能形式,逐 token 得到一个残余自由能贡献。原文自由能构造
• 理论部分给出两条结论:熵修正保持期望成员间隔的下界,并在协方差为正时把间隔方差压到更低;由此得到最优系数的表达式的可行区间,论文用真实统计量验证该区间包含固定取值。原文方差分析
• 实验对象是五个开源模型(GPT-Neo-2.7B、Mamba-2.8B、OPT-6.7B、Pythia-12B、GPT-NeoX-20B),基准为 WikiMIA 与 StackMIAsub,并对比七个灰盒基线,包括纯困惑度、参考模型校准、小写化校准、zlib 压缩校准与最小 K% 系列。原文实验设置
ETD 的自由能构造
从原始 PDF 第 6 页按图注裁取的 Figure 3;前缀决定一个预测分布,被观测的 token 提供一个类似能量的损失项,完整分布提供预测熵项,两者相减得到该 token 的残余自由能贡献,ETD 就是这些贡献的均值。原论文图(PDF 裁切)

实验成果

• 主结果按所有长度分片平均:在 WikiMIA 上,ETD 相对最强基线的 AUROC 提升为百分之一点七(原始设置)与百分之零点五(改写设置),单模型最大提升出现在 GPT-NeoX-20B 上,分别为百分之二点二与百分之一点四;在 StackMIAsub 上提升为百分之三点五与百分之三点零,单模型最大提升是 Mamba-2.8B 的百分之三点八。原文主结果
• 低假阳性率下优势更明显:TPR@5%FPR 在 WikiMIA 上相对最强基线提升百分之三点八与百分之五点一,单模型最大提升为 GPT-NeoX-20B 的百分之七点七与百分之八点七;在 StackMIAsub 上提升百分之三点五与百分之一点二,单模型最大为百分之四点四。原文门槛指标
• 消融验证了两个部件各自有效:在 GPT-NeoX-20B 与 WikiMIA 上,只用 token 预测损失是六十八点五与六十八点零的 AUROC,加上熵项升到七十二点三与七十一点六;只用首次出现聚合也能到七十点零?——准确值是七十一与七十一点一。原文消融
• 系数取值有两种依据:默认零点五在全部数据集与模型上固定不变,此时熵修正后的间隔方差降到纯损失间隔方差的百分之四十六点八六与百分之四十七点六六,标准化间隔之比为一点一九一八与一点一六二零;而实测检测性能在零点八附近达到峰值,且该值与理论给出的可行区间相符。原文系数分析
• 长度维度的表现:论文按三十二、六十四、一百二十八与二百五十六四种序列长度分别评估,ETD 在长序列上相对基线的优势更稳定。原文长度分析
按序列长度的检测表现
从原始 PDF 第 9 页按图注裁取的 Figure 5;(a)(b) 为 WikiMIA 上的 AUROC 与 TPR@5%FPR,(c)(d) 为 StackMIAsub 上的同两项指标,四个面板均按序列长度分组;ETD 在两个基准上都表现出随序列变长而更稳的优势。原论文图(PDF 裁切)
• 受控暴露实验把这套信号的变化过程拍了下来:论文在 GPT-Neo-1.3B 上继续预训练一百一十一个样例中的五十六个(另外五十五个留出),十六个 epoch、共一百一十二次参数更新,并用一万次自助重采样给出置信区间;随暴露轮次增加,成员文本上的纯似然分与 ETD 分同时下降,而 ETD 在中等暴露水平上比纯似然更早把两组分开。原文受控实验
• 理论指标的实测支撑:在十六个「数据集—设置—长度」组合上,损失间隔与熵间隔的协方差全部为正,方差降低条件的上界落在一点七四四五到二点一八四四之间,均高于固定的零点五;实际方差比落在零点三四六三到零点五四七四之间,标准化间隔在十六个组合中的十五个上优于纯损失版本。原文统计验证

总结与反思

• 结果总结: ETD 用一个参数、一次代数变换就把检测边界从水平掰成倾斜,并且给出了「为什么」——修正项在保持期望间隔的同时压低方差,因此更像是在做信噪比调整,而不是在引入新的黑盒。
• 局限性: 方法依赖灰盒访问,需要目标模型的 token 级统计量;理论在成员与非成员平均熵相同的条件下推导,论文虽把结论扩展到非零平均熵差的情形,但仍是在分布层面的陈述;基准本身带有时间分割假设,模型发布时间必须与之兼容;熵系数在所有实验里固定为零点五,虽然给了敏感性分析,但没有做按数据集自适应。
• 前沿见解: 语料审计这类工作真正缺的不是更强的模型,而是更干净的判据;当一条判定线的斜率有理论依据、而且这条线两侧的量都能被单独读数时,「没被见过」才第一次成为可以被反驳的主张。

多模态

7. 评测分数只说了模型做对多少,没说它靠什么做对——DiaVLo 把「应该知道」与「实际知道」摆在一起分成三类原文

信号源:代尔夫特理工大学
链接:DiaVLo: Diagnosing Behaviours of Vision-Language Models
🔍

认知提取

视觉语言模型的分数一直很分裂:在基准上答对率不低,可一碰到真正依赖视觉的题目就露出马脚。
原因不难猜——它答对了,不代表它是看着图答对的。基准给的是聚合分数,而分数背后「用了哪些概念、怎么把这些概念连起来」,一直缺一份可核对的清单。
DiaVLo 的做法是给同一个问题准备两份答案:一份是人认为「应该知道」的概念关系(由场景图生成加人工校验得到),另一份是模型自己讲出来的推理关系。
两份答案做语义比对,就得到三种状态:对齐、扩张、偏离。
它不回答「模型强不强」,它回答「模型是凭什么强、又在哪里凭错了」。

论文摘要

• 论文把视觉语言模型的诊断问题定义为:检验模型是否表现出期望的输出规律、同时避开不期望的输出规律;现有的基准只给聚合评分,可解释性方法又大多停留在特征层面,两者之间缺一层。原文引言
• 作者用 SHOULD-KNOW(期望行为,任务相关、跨模型通用)与 REALLY-KNOW(实际行为,模型相关)两套规约来刻画一个模型,并据此定义三种行为类型:对齐(实际行为是期望行为的子集)、扩张(部分覆盖且出现额外行为)、偏离(两者没有交集)。原文问题定义
• 期望行为由场景图生成加人工校验得到,实际行为由模型被要求结构化讲出自己回答理由得到,两者做语义比对完成分类。原文框架
• 论文额外用双重机器学习估计「概念级因果效应」:对图像中概念做遮挡生成反事实输入,再估计每个概念对输出的影响,用来给模型自述加一层验证。原文因果建模
DiaVLo 的问题定位
论文把视觉语言模型的诊断定位为基准评测的补充;左边是基准给出的聚合任务表现,右边是诊断给出的期望行为与实际行为比对,用于判断模型是「做对了」还是「碰巧做对了」。原论文图

核心方法

• 期望行为的构建分两步:先由场景图生成候选三元组,再由众包标注者核验其正确性与与任务的相关性,并可补充缺失三元组;论文报告专家复核时最多约百分之十一的行为需要修正,主要是拼写与格式问题。原文众包流程
• 实际行为的抽取靠模型自述:提示模型把回答所依据的结构化理由讲出来,形成三元组形式的实际行为规约。原文行为抽取
• 因果层用透明扰动:对每条样本取其实际行为规约的幂集,按概念包围框生成遮挡掩码以合成反事实输入,文本保持不变;随后用双重机器学习在残差上估计概念处理效应,回归器用梯度提升树,并做交叉拟合与多次随机切分取中位数。原文因果估计
• 阈值经过敏感性分析后固定为:对齐相似度不低于零点七五、扩张相似度不低于零点三五、偏离相似度低于零点三五;论文说明把对齐阈值放到零点七时,有百分之二十二点三一的样本只是因为「只有一个概念相似」就被误判为对齐。原文阈值选择
• 评测覆盖四个开源模型(InternVL2-8B、LLaVa-1.6-7B、Qwen2.5-VL-7B、ShareGPT4V-7B)与四个数据集(LLaVa-Bench、MMBench、SEED-Bench-2、VQA v2),分类与生成两种条件都测;模型自托管在两块 A10 上,限制二百五十六个 token、贪婪解码以保证可复现。原文实验设置
DiaVLo 框架
框架由两条并行流程组成;上半部分用场景图生成加人工校验产生期望行为,下半部分让模型把回答理由讲成结构化的实际行为,中段把两者做语义比对并给出对齐、扩张、偏离的分类,右侧再叠加概念级因果估计。原论文图

实验成果

• 实际行为抽取的覆盖率:在一千九百九十六个初始样本中成功为一千七百五十四个样本抽到实际行为规约,约百分之十二因为空回答与指令跟随不稳定而丢失,其中 ShareGPT4V 损失最多。原文行为抽取统计
• 行为分布本身就是一个结论:被测模型整体以扩张和偏离为主,对齐只占百分之六点四,扩张占百分之五十二点五,偏离占百分之四十一点一。原文行为分布
• 扩张行为里最稳定的模式是「描述代替组合」:模型讲出来的实际行为大多是描述物体属性,而不是把空间位置这类组合关系讲清楚,这与此前关于视觉盲点的观察一致。原文扩张行为
• 偏离行为还有一个附带特征:这类样本的实际行为条目数量更多,作者推测模型在不确定时会倾向于多讲一些、把自己的输出说圆。原文偏离行为
• 行为标签与表现的关联:论文用自助法估计行为相似度与准确率之间的互信息,InternVL2 与 LLaVa-1.6 的行为与其表现在各数据集上关联较强,Qwen2.5-VL 只在 LLaVa-Bench 上稳定,ShareGPT4V 在开放式数据上表现更好,这与它本身偏向图像描述的训练取向一致。原文信息量分析
• 因果效应的形态也分数据集:开放式数据集上的估计散布在多个概念上、并沿输出 token 铺开,多选题数据集上的估计更集中在零点附近,作者据此认为模型激活了许多与具体问题无关的概念。原文因果结果
• 阈值敏感性本身给出了可复用的经验:把对齐阈值从零点七提到零点七五后,单概念相似造成的误判由百分之二十二点三一下降到百分之十七点七零,平均相似度则由零点七七升到零点八四;而偏离阈值低于零点三五时,已有百分之九十二点六九的配对属于概念与关系都不同。原文阈值敏感性

总结与反思

• 结果总结: DiaVLo 把「模型表现如何」这一层拆成了「模型凭什么这么表现」,并且证明即使两个模型准确率接近,它们依赖的概念关系也可以完全不同——LLaVa-Bench 上的期望行为与实际行为差异显著,就是一个例子。
• 局限性: 整套诊断建立在模型自述之上,加上因果估计也只提升了验证力度,并不等于证明了自述的忠实性;期望行为依赖人工校验,按数据集扩展时会遇到人力上限,论文提出用「查找—修复—校验」的众包流程缓解;实验中的模型都在七十到八十亿参数区间,开源与闭源的选择上作者为了可复现性放弃了闭源模型。
• 前沿见解: 当「答对」可以被语言先验廉价地刷出来,评测的下一步不是更难的题,而是要求模型交出一份可以被逐条核对的理由;这份理由一旦成为必答项,模型的组织方式(描述优先还是组合优先)就会直接暴露出来。

具身智能

8. 换一台机器人,策略就失效——SkelWAM 用同一套 25 维骨架表示同时定义「看到什么」和「要做什么」原文

信号源:北京大学先进制造与机器人学院、清华大学交叉信息研究院、Feagine
链接:SkelWAM: A Skeleton-Guided World-Action Model for Zero-Shot Cross-Embodiment Manipulation
🦾

认知提取

跨机器人复用手艺,一直卡在两个地方:看。同一张桌子,机械臂不同、相机不同,画面就不一样;做。同一个工具位姿,六轴臂、七轴冗余臂和连续体臂需要的关节指令完全不同。
目前流行的折中是让模型输出笛卡尔位姿,再由目标机器人的逆运动学去解关节。问题在于——同一个工具位姿可以对应很多种机体构型,画面变了、构型变了,动作就对不上了。
SkelWAM 的答案是先定义一套共用的几何语言:六个手臂中心线采样点、工具中心点位姿与夹爪指令,合成二十五维状态;这套定义同时用来描述「画面里的机器人在哪」和「未来动作序列该长什么样」。
训练只在一台 Franka 上完成,部署时换成十种不同的机体,其中还包括一条连续体臂。

论文摘要

• 论文研究仅用源机器人数据训练的迁移设定:任务示范与策略优化只在一台源机器人上完成,目标机体不提供任何任务示范,也不做策略更新。原文引言
• 作者指出这种设定存在两个耦合的缺口:视觉侧的外观与形态差异,以及动作侧的控制坐标、冗余度与全身可行性差异;仅做末端重定向只能对齐交互目标,无法确定全身构型。原文引言
• SkelWAM 提出用一套共享骨架表示同时桥接两侧:手臂中心线几何、工具中心点位姿与平行夹爪指令构成一个固定的二十五维规范状态,同一套定义既给出第三人称与腕部两个规范视角的视觉代理,也给出未来的全身动作目标。原文方法
• 模型是视频—动作混合专家:三十层视频专家与三十层动作专家配对,权重由 Wan2.2 视频骨干初始化,输出三十二步乘二十五维的骨架动作块,再由各机体的约束解码器转成关节或连续体控制。原文方法
• 论文同时发布 LIBERO-Cross10 基准:来自十项 LIBERO 任务的 Franka 示范,对十个目标机体评测,覆盖四类形态分组,其中九台刚性关节臂加一条连续体臂。原文基准
SkelWAM 的世界—动作模型
世界—动作模型结构;(a) 共享的二十五维机体/工具中心点/夹爪状态定义了外部与腕部两个视觉代理;(b) 三十对视频与动作 DiT 块预测三十二乘二十五的骨架动作块,带星号的未来视频路径只在第一阶段提供监督,动作注意力读取当前帧的键值并在推理时缓存;(c) 原生机体用关节逆运动学或连续体分段常曲率解码,优先满足工具位姿、以中心线作为姿态引导。原论文图

核心方法

• 规范状态定义:六个中心线采样点相对末端的位置、末端位姿的不变表示与夹爪状态共同构成二十五维向量,中心线长度按源机器人尺度归一化,使同一动作意图在不同尺寸的机体上可比。原文规范表示
• 两阶段源侧训练:第一阶段联合训练视频预测与二十五维骨架动作,视频目标监督场景未来演化、动作目标监督对应几何轨迹;第二阶段冻结视频专家,用流匹配预测二十四个连续坐标,并用一个因子化的夹爪事件头预测夹爪是否切换及其首次切换时刻,把离散开合语义与连续几何分开。原文训练目标
• 训练规模:源数据集含四百六十七条成功 Franka 示范,按 episode 分为四百四十七训练与二十验证;第一阶段六千次更新,第二阶段两万四千次更新,模型选择在第二阶段第两万三千步;推理用二十步流匹配、执行十个预测状态后重规划。原文训练设置
• 机体专属解码:目标机体提供标定几何、相机与运动学控制器,解码器按加权中心线拟合与上一时刻关节的平滑项求解,连续体臂则用分段常曲率参数化实现。原文解码器
• 评测口径:十个目标机体、十项任务、每个机体—任务单元十个配对试验,合计每个方法一千零一段 episode,成功率按原始 LIBERO 判定谓词统计,误差棒用汇集 episode 比例的百分之九十五 Wilson 区间。原文评测协议

实验成果

• 零样本迁移的总体结果:Franka 训练的 SkelWAM 在一千段 episode 上取得百分之四十三点三的成功率(百分之九十五 Wilson 区间四十点三到四十六点四),比表现最好的被测基线高出三十六点二个百分点,该基线是基于 Fast-WAM 的 RoVi-Aug 视觉适配实现、只能拿到百分之七点一。原文零样本结果
• 对照组更低:Fast-WAM 与其跨涂改变体 Mirage 都只有百分之零点四;十个目标机体中 SkelWAM 在九个上成功率最高,唯一失手的是 UR5e,RoVi-Aug 拿到百分之十五点零、SkelWAM 为百分之十三点零。原文目标矩阵
跨机体零样本成功率
从原始 PDF 第 5 页按图注裁取的 Fig. 4;四个任务子集上各方法在十个目标机体上的平均成功率,基线柱取各自家族中完整方法的最好成绩,误差棒为按 episode 二元结果计算的百分之九十五 Wilson 区间(四组分别对应三百、三百、二百与二百段 episode),骨架方法的优势集中在空间与物体两类子集。原论文图(PDF 裁切)
• 成功率随任务子集差得很远:空间与物体两类子集分别为百分之六十一点三与六十一点零,而目标与长程两类只有百分之十五点零与百分之十八点零,说明共享接口并不能抹平任务层面的难度差。原文任务分析
• 形态分组也有梯度:工业六轴组平均四十四点七、冗余七轴组三十八点零、轻量组四十四点零,唯一的连续体目标反而最高,达到五十九点零;七轴臂组内部跨度从十九点零到六十点二。原文形态分析
• 消融把两个部件的影响分开:去掉规范视觉输入或去掉机体动作监督后,成功率几乎归零(百分之零点零与百分之零点一);单独去掉腕部输入整体只掉零点三个百分点,但在四个子集上是负六点七、负十四点七、正二十二点五与正八点零的翻转;只去掉解码器的机体目标整体掉二点四个百分点,在物体子集掉八点七、在长程子集反而涨三点零。原文部件干预
部件干预的任务依赖效应
从原始 PDF 第 6 页按图注裁取的 Fig. 5;单元格为「去掉该部件减完整模型」在四个任务子集上的百分点差,红色表示下降、蓝色表示上升,可以看到腕部上下文与全身姿态目标在不同任务家族里方向相反。原论文图(PDF 裁切)
• 真机验证是附带的定性证据:论文把在 JAKA mini2 上训练的策略部署到 Feagine A03 连续体臂上,完成玩具整理、套环与插销三类桌面任务,用于展示共享接口在真实硬件上的可行性。原文真机部署

总结与反思

• 结果总结: SkelWAM 的贡献不在于把成功率推高多少,而在于指出跨机体迁移的关键是「用同一套几何表示同时描述观测与动作」,一旦两侧对齐,目标机体只需要提供标定与解码器。
• 局限性: 迁移效果依赖可达性、夹爪接触几何、相机标定以及物体遮挡下的背景填补质量,这些仍留在目标侧接口里;动作侧的干预同时改动了学习与执行,因此无法把两部分贡献完全分离;与基线的比较使用统一的评测协议,但各方法的预训练与源侧适配预算不同,作者对此作了明确说明。
• 前沿见解: 机器人基础模型的数据瓶颈,很可能不是「采多少条轨迹」,而是「轨迹用什么表示才能被别的机体读懂」;把形态差异从模型里挪到解码器里,是一个成本更低的解法。

AI4Science

9. 材料计算里最贵的一次猜错——CNEI 把 PAW 的初始化补齐,让 DFT 从原子结构直接起跑原文

信号源:丹麦技术大学能源转换与存储系
链接:Complete Neural Electronic Initialization Accelerates Materials DFT
⚛️

认知提取

用平面波 DFT 算一个材料,最耗时的不是最终那步求解,而是从零开始逼近收敛的那几十次自洽迭代。业界早就想用机器学习一步给出好的初始电子密度,把这段路缩短。
但此前的方法都偷了一手:它们只预测平滑的价密度,而把投影缀加波(PAW)形式里真正决定原子内部修正的「缀加占据数」直接从同一个结构的已收敛计算里搬过来。
这在实用场景里是拿不到的——真要算一个全新的材料,哪来的参考计算。
这篇论文把初始化该给的部件列成七条判据,指出最缺的是两块与结构有关的量:PAW 缀加占据数,以及自旋初始化。
补齐这两块之后,在未见过的结构上,端到端墙钟时间最多缩短约四分之一,而且收敛后的能量不变。

论文摘要

• 论文指出,此前用机器学习预测电荷密度来加速 DFT 的实验都建立在参考计算之上:平滑价密度由模型预测,但缀加占据数取自同一测试结构的已收敛结果,因此在真正的新结构上不可用。原文先前工作局限
• 作者把「完整神经常规初始化器」写成七条判据:三个与结构有关的量(平滑价密度、PAW 缀加占据数、自旋与磁初始化),以及四项必须完成的验证(密度精度、自洽步加速、受控部件消融、包含推理开销的端到端无参考墙钟加速)。原文判据
• 文章提出 AugNet,据称是第一个面向 PAW 缀加占据数的通用等变模型;同时提出第一个面向材料的通用自旋密度模型,用预测磁矩约束全局磁性态,并给出自旋差密度的平滑部分与缀加部分。原文方法总览
• 七条判据全部满足后,方法构成一个完全无参考的电子初始化器,不需要目标计算提供任何电子量,在未见结构上把端到端 DFT 墙钟时间最多缩短约百分之二十五,同时保持收敛能量。原文摘要

核心方法

• 三个初始化部件的分工:平滑价密度由已有模型 ELECTRAFI 预测,PAW 缀加占据数由 AugNet 预测,自旋通道的对应量由 spin-ELECTRAFI 与 spin-AugNet 预测,磁矩预测用来约束全局磁性态。原文工作流
• AugNet 把缀加占据数当作协变量处理:结构由等变骨干编码,读出层按 PAW 数据集的对称性方案(按元素分成若干通道配置)生成一组单中心系数,高阶通道通过 Clebsch-Gordan 耦合由低阶系数构造,从而在不同元素与不同 PAW 方案间通用。原文 AugNet
• 残差学习与参考量:自旋加和通道以原子叠加(SAD)占据数为参考,自旋差通道没有可用的自由原子参考,改用零参考,即直接预测。原文参考基线
• 自旋建模的三种方案:直接用预测磁矩通过 MAGMOM 传入求解器;直接预测自旋差缀加占据数;以及把预测的平滑自旋密度因子化为全局磁性态与归一化空间分布,训练时用真值磁矩约束、推理时替换为预测磁矩。原文自旋建模
• 计算环境:所有 VASP 计算在同一批 Intel Xeon E5-2650(二点二零吉赫兹)上以二十四核、二百五十六 GB 内存运行,机器学习模型在 A100 与 H200 上单卡训练,推理计时统一在 A100 上测量。原文实验硬件
AugNet 架构
从原始 PDF 第 5 页按图注裁取的 Figure 2;等变骨干先编码原子环境,读出层按该元素的 PAW 方案给出系数,再经 Clebsch-Gordan 耦合生成高角动量通道,最终输出单中心的 PAW 缀加系数——这一输出此前没有通用模型可以给出。原论文图(PDF 裁切)

实验成果

• 只预测价密度基本没有价值:消融显示,即便给出收敛的价密度,缀加与自旋仍用默认值时,对非磁性结构没有收益,对磁性计算反而明显变慢——这与此前一篇论文「没观察到实际加速」的结论一致。原文部件消融
• 补齐自旋加和通道(价密度加缀加占据数)后,非磁性材料平均减少约百分之十的自洽步,但没有自旋信息时其余情形失效。原文消融分析
• AugNet 的精度:在 Materials Project 与分布外的 GNoME 测试集上,缀加占据数的平均绝对误差与均方根误差分别为零点零零四一与零点零一一八、零点零零六二与零点零二六二;作为对照,此前的 CJM 在其专用的二硫化钼结构上报告的是零点零一三零与零点零四五九。原文精度表
• 规模效应:训练集越大,Materials Project 与 GNoME 上的误差越低、自洽收敛也越好,说明这条路线仍有数据红利。原文数据规模
• 端到端结果按数据集分别给出。在分布外的 GNoME 测试集上,默认初始化总耗时一百八十八点九九秒,Oracle 为一百一十二点五九秒,完整神经初始化器配 ELECTRAFI 为一百四十一点四三秒、配 ChargE3Net 为一百七十四点零二秒,总时间节省分别为百分之四十点四三、百分之二十五点一七与百分之七点九二;自洽步节省在 Oracle 为百分之五十一点六三,两种配置分别为百分之二十七点一七与百分之二十九点七九;把节省折算成 Oracle 上限的比例,两种配置分别为百分之六十二点二五与百分之十九点五九。原文端到端表
• 在训练分布内的 Materials Project 测试集上,默认初始化总耗时六百二十三点八四秒,Oracle 为三百零二点零四秒,完整神经初始化器两种配置分别为五百三十点零四与五百八十五点二六秒,总时间节省百分之五十一点五八、百分之十五点零四与百分之六点一八;把节省折算成上限比例后,两种配置分别为百分之二十九点一五与百分之十一点九九。论文同时提示,密度误差更小的数据集并不一定带来更大的时间节省。原文端到端表
端到端墙钟时间与能量达成率
从原始 PDF 第 9 页按图注裁取的 Figure 4 及其上方的端到端结果表;表格逐数据集列出平均绝对误差、自洽步数与总耗时在默认、Oracle 与两种完整配置下的取值;柱状图以默认初始化归一化为一点零,小于一表示加速;最下一排给出各方法中落在任一方法最低记录能量一毫电子伏以内的计算比例,说明加速没有牺牲收敛能量。原论文图(PDF 裁切)
• 论文明确提示当前的密度指标并不完善:GNoME 上的密度误差更大,但墙钟收益更高,说明密度误差只是求解器表现的不完美代理。原文讨论

总结与反思

• 结果总结: 这篇论文的贡献一半在方法、一半在判据:它把「用机器学习加速 DFT」从一句口号变成一份可逐条核对的清单,并且证明此前被跳过的两个部件恰恰决定了加速是否存在。
• 局限性: 作者指出还需要更好的训练指标——目前的密度误差不能可靠预测求解器耗时;论文的对照方法存在系统专用模型与通用模型的精度口径差异;与 Oracle 上限之间仍有明显差距,而缩小差距依赖于自旋与缀加部件继续变准;ML 初始化与默认初始化达到最低收敛能量的比例基本相同,因此加速与改进机器学习势函数两件事是互补而非替代关系。
• 前沿见解: 计算科学的加速往往不是靠换一个更大的模型,而是靠把流程里每一个「本来靠别处算好的量」都变成可预测的量;判据一旦被写清楚,后来者就有了可以对齐的靶子。

Infra

10. 个性化要深、库存要广,同一块芯片给不了两者——Meta 把深度交给 GPU、把广度交给 CPU原文

信号源:Meta Platforms
链接:Hybrid GPU–CPU Retrieval for Personalized Search at Ultra-Large Scale
⚙️

认知提取

在万亿级文档的检索里,有两个需求永远在打架:一类查询需要模型认真读用户的历史行为,才能把「海鲜」从「快餐」里区分出来;另一类查询要的是那条冷门、稀疏、但恰好对得上的内容。
前者吃算力,后者吃库存。把全量库存放进显存太贵,让 CPU 跑交互模型又赶不上延迟要求。
论文把这种两难命名为「个性化—规模悖论」,然后给了一个并不新鲜的解法:让两种硬件各做自己擅长的事。
GPU 侧在一个约十亿文档的精选池上同时做检索与交互预排;CPU 侧在一个大约二十倍大的库存上做轻量个性化打分。
关键不在于两路并行,而在于它们各自独立发布、独立回滚,只在候选聚合层碰头。

论文摘要

• 论文把这个矛盾讲得很直白:在用户生成内容上做嵌入检索,深层个性化需要交互模型逐候选计算,而库存覆盖需要更宽的内存与扫描预算,两者在同一块硬件的延迟预算里无法同时满足。原文引言
• 作者提出的不是新模型,而是一套异构协同服务系统:GPU 路径在十亿量级的在线精选池上融合检索与交互预排,CPU 路径在约二十倍大的独立选池上做轻量个性化嵌入检索,两条路径可按请求任意组合。原文引言
• 系统已在生产环境部署,作者报告的关键证据是一组全系统 A/B 对照实验,加上按来源归属的检索日志与匹配容量的成本测算。原文引言
• 论文同时明确划定范围:下游完整排序、查询理解训练、生成式检索与学习式请求路由都不在讨论范围内,词法检索只在共享排序器入口的测量中出现。原文范围声明

核心方法

• 双路径设计:GPU 路径融合双塔检索与交互打分,追求建模深度;CPU 路径用轻量个性化模型覆盖十倍以上的库存,追求建模广度。原文系统架构
• GPU 侧训练:查询塔把三百八十四维语义嵌入与一百二十八维用户画像嵌入拼成五百一十二维输入,文档塔输出一百二十八维向量供近邻检索,交互模块基于 DeepFM;总损失是 InfoNCE 检索损失、Smooth L1 相关性损失与二分类交叉熵互动损失三项加权,另外有会话内 InfoNCE 把「相关但未互动」的候选当作负例。原文联合训练
• 池子构建与索引新鲜度:候选池经过策略、质量、语言、时效与去重筛选后按硬件分别选取快照;模型权重与候选索引由同一条自动流水线一起发布,保证两者对应同一份语料视图。原文池构建
• CPU 侧索引:用预训练质心键控倒排嵌入表,查询先粗筛附近的质心再扫描对应列表,并把余弦相似度与轻量词法信号结合;为控制列表长度,质心数从每分片六万四千提升到五十一万二千。原文 CPU 检索
• 执行顺序的改动:把逐文档交错执行换成先按簇做词项级顺序扫描得到全局 Top-K,再把该候选表当作动态跳表去执行其余约束,让重的向量计算在布尔过滤之前完成,把随机读变成顺序读。原文执行优化
GPU 路径的推理管线
GPU 推理管线;查询编码、近邻检索、交互预排与价值打分全部驻留在加速器上,只有稀疏表仍留在主机内存中按需取用,这条流水线是「深度」一侧的实现形态。原论文图

实验成果

• GPU 路径的端到端价值:一次为期七天的实验测得检索结果达标率提升百分之一点零四(正负零点一三),排序指标 DCG@20 提升百分之零点七三(正负零点一五)。原文生产对照
• 论文顺带披露了一次失败:此前的语义模型上线提升了离线相关性,但在线观看指标反而回退——单看嵌入质量不足以作为发布单位。原文生产对照
• CPU 路径的规模效应:在一个到一千零二十四个被探查簇的范围内比较六万四千与五十一万二千两种质心索引,五十一万二千的方案用更少的候选扫描达到同等召回。原文质心前沿
CPU 索引的召回—候选前沿
召回与平均扫描候选数的前沿曲线;颜色编码被探查的簇数量,五十一万二千质心(深色曲线)在同等召回下需要扫描的候选明显更少,这是把 CPU 路径的质心规模提高八倍的主要理由。原论文图
• 两条路径确实在贡献不同的候选:在三天日志窗口内约十一万四千个两条稠密路径都执行的请求上,按查询热度分层统计重叠率,头部、躯干与尾部都很低;七天窗口的复核给出的 GPU 侧重叠率为百分之二点三二、二点零七与二点一五,与三天窗口相差不超过零点一三个百分点。原文重叠分析
• 共享排序器入口的构成:每个合格请求平均约七百八十一个去重候选,其中 GPU 独有二百零九个、稠密 CPU 独有四十七个、词法 CPU 独有五百个、跨组重叠二十六个;同一时间窗内 GPU 路径平均召回五百九十四个候选并向共享排序器送入二百二十四个,稠密 CPU 合并后召回一千三百五十二个、送入五十九个。原文候选构成
• 成本测算给出这套分工的经济理由:在二百五十六维、标量八比特量化、三个地域副本的匹配负载下,加速器单机可存的向量数约为 CPU 的二到三倍,因此每地域所需单元数约为 CPU 方案的三分之一;把 CPU 方案归一化为一点零后,单机容量成本比约为十二倍,三地域整体容量成本比约为四倍。原文容量测算

总结与反思

• 结果总结: 这篇系统论文的可迁移经验是「候选契约」:每条路径各自拥有库存、模型、准入规则、发布节奏、超时与回滚,聚合层只负责归属与去重,于是建模深度与库存广度可以独立演进。
• 局限性: 作者坦率指出路径级实验同时改动了多个组件,因此增益不能单独归因于硬件、近邻精度、模型深度或库存规模;学习式请求路由是明确的下一步,但要无偏评估就需要随机化的路径分配与质量、超时、容量成本的完整记录;共享排序器入口的多样性本身不等于用户价值,来源归属的曝光与互动数据仍待补齐。
• 前沿见解: 当推荐与检索的模型越做越深,真正被争夺的资源会从「算力」变成「算力与内存的分配比例」;谁先承认单块硬件无法同时最优,谁就先把这条比例调对。

Agent

11. 检索到的记忆该不该信,标准 RAG 从来不问——MDL 用三个信号在注入之前做一次零参数裁决原文

信号源:天津理工大学计算机科学与工程学院
链接:An Interpretable Memory Decision Controller for LLM Agents Based on Three-Signal Complementarity: Decoupling Confidence and Consistency
🧩

认知提取

检索增强生成有一个默认假设:检索到的东西就该用。
于是记忆库里一旦同时存着正确结论和流行误解,系统会把两者一起塞进上下文,让模型自己去分——而模型往往分不出。
论文给出的实测差距很刺眼:在 TruthfulQA 上给记忆库同时放入正确答案与常见误解时,标准 RAG 的幻觉率是百分之五十三,而无记忆基线只有百分之二十三。
MDL 的做法是在检索与生成之间插一层极薄的裁决器:只用相关性、可靠性、任务风险三个信号,经正交子空间投影融合出一个可信度表示,再明确把「有多确信」(模长)与「方向有多一致」(余弦)拆成两个可审计标量。
它不训练任何参数,只做几何运算,单次裁决约四十微秒。

论文摘要

• 论文指出记忆系统的研究几乎都集中在检索效率上,而「检索到的记忆是否可信」这一层长期空缺;标准 RAG 的做法是无条件注入。原文引言
• 论文用实验量化了这个空缺:在 TruthfulQA 上,当记忆库同时包含正确回答与常见误解时,RAG 的幻觉率达到百分之五十三,显著高于无记忆基线的百分之二十三(p 值零点零零七)。原文引言
• 作者借鉴猕猴前额叶的发现——元认知记忆判断并非由单一记忆强度信号驱动,而是由工作记忆强度、试次历史与唤醒水平等互补成分在近乎独立的子空间中编码——设计出记忆决策层(MDL)。原文引言
• MDL 的核心是三信号互补编码器:把相关性、可靠性与任务风险投影到正交子空间,再与元工作记忆信号融合,经门控得到四档动作(采用、抑制、静默、退出)。原文方法
MDL 的四阶段架构
记忆决策层的四阶段架构:多源输入信号、正交子空间编码、记忆决策层本体与四档动作映射;整条链路只有几何运算——QR 分解、向量模长与余弦角——没有任何可训练参数。原论文图

核心方法

• 三个输入信号的来源不同:相关性来自检索阶段的相似度,可靠性由检索分数经一致性折扣后裁剪到零一区间,任务风险是任务级工程扩展,用来刻画医疗、法律、金融这类高后果领域。原文信号编码
• 正交子空间融合:把每个标量信号编码为带高斯峰的向量(保证「多少」与「哪个方向」同时可表达),再用 QR 分解得到三个互相正交的投影子空间,各信号在自己的子空间内加权,跨通道只留下受控的二阶泄漏。原文融合机制
• 置信度与一致性解耦:融合向量的模长经分位归一化得到置信度,融合向量与元工作记忆向量之间的余弦得到一致性,两者分别可读、可单独审计;门控把一致性作为主权重,风险则通过反演编码参与抑制。原文解耦与门控
• 判定阈值固定为四档动作的边界(零点六、零点四、零点二),论文强调整套控制器没有任何数据集或模型专属的调参。原文参数设置
• 端到端评测在 gemma-4-E4B-it、deepseek-v4-flash 与 gemini-3-flash-preview 上进行,采样温度零点七、top-p 零点九、最多一百五十个新 token;信号级分析汇总了三千六百条真实记录。原文实验设置

实验成果

• 端到端幻觉抑制:在冲突记忆的通用场景下把幻觉率从百分之五十三降到百分之二十三点三(p 值零点零一四),相对下降约百分之五十六;在医疗、阴谋论这类高风险样本上,论文报告幻觉率接近零。原文端到端结果
• 三个信号单独使用都没有意义:任一单信号的决策准确率只有零点五八一,等于多数类基线;多信号组合后最好的是可靠加风险百分之六十二点七,三者全用是百分之六十一点二。原文信号组合
• 相关性信号的价值在极端区间:在四十五条低相关性记录(相关性低于零点四)里,加入相关性把弃权率从百分之二十提高到百分之四十,也就是把其中九条从「采用」翻成「弃权」。原文分层分析
• 信息论分解显示三信号不是线性叠加:单信号的信息量分别只有零点零零二与零点零一二比特,三信号联合升到零点零五七比特,并带来正零点零零七比特的非线性协同增益。原文信息分解
• 消融把各部件的重要性排了序:去掉值编码准确率暴跌十七点八个百分点(降到零点四三四),这是最关键的一步;去掉风险反演掉五点五个百分点;去掉一致性门控与风险调制分别掉一点六与一点七个百分点。原文消融
• 一个反直觉的诚实报告:把正交子空间换成恒等投影,在三千六百条记录这个有限集合上准确率反而高了二点八个百分点;论文照实写明,并把正交子空间的价值定位在能量守恒与可归因结构上,而不是全局准确率。原文消融
• 与控制器的比较也要摆清:带监督的分类器在由结果反推的标签上有小幅数值优势,XGBoost 六十四点六、逻辑回归六十三点三,比 MDL 的六十一点二高出一到三个百分点;MDL 的卖点是无训练、无过拟合与两个可单独审计的标量。原文监督对照
• 一致性这个标量确实带方向信息:正确决策与错误决策的余弦均值分别是零点九五零与零点九四六,差异显著(t 值三点七零,p 小于零点零零一),尽管它与置信度的相关系数高达零点九零二。原文一致性分析
MDL 的消融、门控敏感性与高风险弃权行为
消融与机制验证;(a) 四档动作决策与由结果反推的判定在真实记录上的混淆矩阵,(b) 门控公式在权重网格上的准确率,一致性权重占主导时存在一片较宽的高准确率区域,(c) 高风险记录里弃权率随相关性与可靠性分箱的变化,用于验证多信号协同的抑制逻辑。原论文图
• 延迟不是瓶颈:连续十万次单线程执行测得单次裁决平均四十点一微秒(中位四十一点九、九十九分位七十四点五),加上用于信号聚合的词法冲突检测后总计约零点一四毫秒;作为对照,一次三百八十四维句向量编码约六点八毫秒,一次大模型自评估调用要二点零到四点七秒。原文延迟剖析
• 残余失败也被写出来:在「高风险且高相关」的区域(风险与相关性都不低于零点七),极高的相关性会抬高置信度、抵消部分风险抑制,医疗领域的记录准确率降到百分之五十五点六;在「采用」这一档动作下仍存在百分之八的残余幻觉。原文局限

总结与反思

• 结果总结: MDL 证明了记忆系统应当被拆成两段——检索负责「找到什么」,决策负责「信不信」——而后者可以用极薄的几何运算完成,不必再叠一个大模型。
• 局限性: 作者指出系统受限于记忆库自身的质量,注入前的裁决无法替代对记忆库的精细清洗;在风险与相关性同时很高的区域存在边界取舍,医疗记录准确率降到百分之五十五点六;风险信号目前是任务级启发式,未来方向包括端到端可微的信号抽取与片段级过滤。
• 前沿见解: 「检索即采用」是当下智能体最常见的默认动作,而这篇论文给出的可操作提示很简单:在把记忆塞进上下文之前,留一个能被单独读数的判断点,成本比事后补救低几个数量级。

应用体系

12. 出价策略也该有「画像」——ADAPT 把广告主切成静态、共性、私有三层,新广告主零样本上岗原文

信号源:电子科技大学、阿里巴巴淘天集团、海南大学
链接:Auto-Bidding with Disentangled Advertiser Profiles and Train-Free Adaptation
📈

认知提取

自动出价系统的目标很朴素:在预算和成本约束下,替每个广告主决定每次展示出多少钱。
但现在大多数做法把广告主当成同一类个体,训练一个通用策略服务所有人。于是「激进冲量」和「保守控本」这两类广告主,只能用同一套参数去挤。
画像方法在推荐系统里早就成熟,搬到出价上却很难:出价轨迹是连续数值,没有「喜欢什么类目」这种容易识别的离散偏好;同时每个广告主的共性规律与私有偏好又混在一起。
ADAPT 的办法是分两步走:先用对比学习从历史出价序列里抽出干净的静态与动态画像,再把动态画像拆成「大家都有的」和「只有我有」的两部分,最后把更新做成无需重训的滑动平均。
新广告主上线不需要重新训练模型,直接把共性画像的平均值填进去就能开跑。

论文摘要

• 论文指出现有出价方法大多把广告主同质化处理,而画像方法落地出价面临三个具体障碍:纯画像难以提取、共性与私有信息难以同时建模、画像更新与冷启动难以处理。原文引言
• 出价问题本身有闭式最优解:在预算与多约束下,最优出价是价值项与各约束性能项按拉格朗日乘子的线性组合,自动出价因此等价于持续调整这些参数。原文问题定义
• 作者提出 ADAPT,包含两阶段训练与一个免训练适配模块:第一阶段学习静态与动态画像,第二阶段用解耦后的画像条件化出价策略,第三阶段之后不再需要训练。原文方法总览
• 适配模块支持两类场景:新广告主一次性构造画像,老广告主的画像按指数滑动平均更新;冷启动时用共性画像的均值与零私有画像开场。原文适配设计

核心方法

• 静态画像来自广告主的类目信息;动态画像来自出价周期序列:序列前置一个可学习 CLS token 与静态画像后,由双向注意力 transformer 编码成隐状态,再与广告主记忆库中的画像做对比学习(InfoNCE),把「这段时间的策略特征」压成一个纯向量。原文第一阶段
• 解耦发生在第二阶段:动态画像一路经跨注意力在该广告主的历史画像池上聚合出共性画像,另一路经多层感知机得到私有画像,两者与静态画像一起作为条件送入出价策略。原文第二阶段
• 防止两路退化成同一个东西靠一项相关性损失:直接惩罚共性画像与私有画像的协方差归一化相关,总损失为动作预测误差加上该相关性损失的加权项。原文解耦损失
• 适配完全不需要梯度:老广告主的画像按 p ← λp + (1−λ)h_new 滑动更新,新广告主用共性画像均值与零私有画像构造条件向量。原文适配设计
ADAPT 的两阶段流程
整体流程图;第一阶段把广告主的出价周期序列与类目静态画像一起编码,经对比学习得到该广告主的画像向量;第二阶段把动态画像拆成共性画像与私有画像,与静态画像共同条件化出价决策,右侧的适配模块负责新广告主的画像构造与老广告主的免训练更新。原论文图

实验成果

• 主结果:在阿里发布的大规模出价基准 AuctionNet 的两个变体上,百分之百预算设置下 ADAPT 相对最强基线 GAS 分别把分数提高百分之二点二三与百分之二点七七,相对最弱基线 DiffBid 分别提高百分之一百四十一点四五与百分之九十点二六。原文主结果
• 数据集规模:两个变体各含四十八个广告主、九千九百八十七个投放周期,每个周期涉及五十万次以上的展示机会。原文数据集
• 画像确实在起作用:推理时扰动画像即可看到分数变化——打乱静态画像把分数从三百六十七降到三百四十一,把动态画像置零或打乱分别降到三百四十七与三百四十八,两类画像同时打乱进一步降到三百三十四。原文画像敏感性
• 解耦损失有必要:权重取零(即去掉相关性损失)时分数为三百五十二,引入后在权重取一时达到最好,说明「共性」与「私有」若不显式去相关就会互相混淆。原文超参数分析
• 画像的语义一致性可以量化:共性画像之间的平均余弦相似度高达零点九零二七,私有画像只有零点三二一八;二维投影也显示共性画像聚成一团、私有画像明显散开,与「共性代表通用出价知识、私有保留个体偏好」的设计意图一致。原文画像可视化
广告主画像的相似度结构
学到的画像之间的两两余弦相似度;共性画像在广告主之间普遍高相似,私有画像则呈现明显的个体差异,这张图是「解耦没有退化成同一个向量」的直接证据,也与消融中两类画像被扰动后各自造成的分数下降相互印证。原论文图
• 消融覆盖四组问题:画像是否有效、解耦是否必要、新广告主的零样本适配,以及新周期的免训练更新,四张表分别对应这四类场景。原文消融

总结与反思

• 结果总结: ADAPT 把推荐系统里成熟的画像思路搬进出价,但真正的工程价值在适配方式:画像更新不走梯度,新广告主靠共性画像均值冷启动,这让个性化在投放系统里第一次变得廉价。
• 局限性: 实验局限在单一公开基准上,广告主数量为四十八个、类目静态画像由数据集给定,因此「画像冷启动」的真实难度可能被低估;分数指标本质上是带罚项的约束满足值,不同方法之间的绝对差距会随罚项设计变化;论文未报告线上流量实验,收益仍属离线口径。
• 前沿见解: 当出价、推荐、排序都开始给「对象」建画像,平台侧的一个新问题是画像本身的管理成本:能用滑动平均维护、能零样本构造的画像,才可能在广告主数量以百万计的规模上落地。

Benchmark

13. 一次转账请求不等于一次失守——APort Vault 把智能体支付拆成五个事件,并用零参数策略引擎把越权转账压到零原文

信号源:APort Technologies Inc.(加拿大多伦多)
链接:APort Vault: Benchmarking AI Agent Payment Authorization with the Open Agent Passport
🔐

认知提取

给智能体一个能挪钱的工具,再给它一条「钱可以付给谁」的规则,然后把四千三百七十一条人写的攻击喂进去——这就是 APort Vault 的全部设定。
它的关键设计不在攻击,而在计数方式:把「提出付款请求」「付款成功」「授权决策」「收款方是否在白名单」「是否付给了未被许可的收款方」拆成五个独立事件分别统计,而不是压成一个成功率。
因为一旦压成一个数,你就会把「模型提出请求」当成「模型被攻破」,而这两件事在实际系统里的含义完全不同。
论文的主结论也很干脆:模型侧拦不住的部分,可以用一道确定性的行动前检查拦住,而且这道检查不靠拒付——在它背后照样有两万五千多笔付款正常执行。

论文摘要

• 数据来源是真实的对抗结果:二〇二六年三月至八月,作者用一个奖金六千五百美元的公开夺旗赛(capture-the-flag)攻击一个真实运行的智能体银行,一千一百二十八个独立会话产生了四千三百七十一次触达智能体的攻击尝试,其中百分之九十七点七集中在三月六日到十二日的窗口内。原文语料
• 复现方式是把每一条攻击同时发给来自八家机构的十四个模型,覆盖两种复现轨道(只发攻击者的最后一条消息,或发完整消息序列)、五个策略等级与两种架构,合计完成二十二万五千九百六十四次评测。原文方法
• 两种架构只差一个变量:模型单独运行,或者每一次转账调用在执行前先经过一个实现 Open Agent Passport 规范的确定性策略引擎,被拒的调用不执行;其余模型、版本、提示、解码设置与工具模式完全相同。原文架构
• 作者明确这次评测要回答的问题不是「模型会不会拒绝」,而是「钱有没有转到策略不允许的收款方」,判定直接读已执行的工具调用,而不是读模型的措辞或评委的意见。原文结果度量

核心方法

• 五个必须分开报告的事件:一次付款请求、一次成功的付款、一次授权决策、收款方是否属于许可集合、以及一次付给未许可收款方的转账——最后一项才是授权边界失守的证据。原文五阶段
• 五个策略等级定义了不同的许可范围,其中一级允许任意收款方(此时模型判断是唯一防线),二到四级把许可收紧到级别的白名单,五级则完全不给付款能力、并在提示里直接要求模型调用转账工具且告知它会被拦截。原文等级设计
• 评测对象是十四个来自八家机构的模型,全部通过各家自己的 API 调用而不是路由中间层,以保证被服务的版本可追溯。原文模型清单
• 判定采用确定性检查为主、评委面板为辅:一个由两个非被测模型组成的双模型评委独立读每条对话记录,但一旦评委结论与确定性检查冲突,按预注册规则以确定性检查为准,评委的原始结论与分歧都被保留在释放的数据里。原文评委设计
• 作者同时声明利益关系:本文作者是所评测授权层的开发公司创始人,这也是论文把最强反驳意见(五个模型本来就没出越权转账)用自己的数据算出来的原因。原文披露
五个阶段的记录
二到四级与五级的五个阶段;二到四级的那个零是在两万五千三百七十笔付款正常执行的情况下记录下来的,也就是说授权边界把越权转账压到零,靠的不是拒绝付款,而是只拦下不符合规则的那一类调用。原论文图

实验成果

• 提出付款请求的比例在配置之间的差异远大于模型之间:模型单独运行时,一级为百分之十点九、二级百分之三点零、三级百分之零点一、四级百分之七十九点四;作者提醒每个攻击只存在于一个等级上,因此策略与攻击队列是同时变化的。原文分级请求率
• 二到四级的五阶段对比:模型单独运行时,七万六千八百四十二次评测中出现二万八千五百四十三次请求、二万八千五百二十一次成功付款,以及一百四十次越权转账;在授权层背后,六万九千二百九十七次评测中出现二万五千五百二十七次请求、二万五千三百七十次成功付款,越权转账为零。原文五阶段表
• 这个零的强度被额外度量:在六万八千九百七十条「模型—提示—轨道」完全匹配的三元组上,模型单独运行是 105 次越权转账、授权层背后为 0;零覆盖七百九十个来源会话,给出每个会话百分之零点三八的上界。原文零的边界
• 零不是靠压请求换来的:两种架构在每一级的请求率都很接近,二到四级的配对差为百分之零点零八四,会话聚类的百分之九十五区间为负零点零二零到正零点一八九;论文同时披露六万八千九百七十对里有 1,220 对(百分之一点七七)确实不一致。原文匹配对比
• 策略引擎实际做了什么:它评估了两万五千六百四十次转账调用,拒绝了一百八十七次,其中一百四十八次是因为收款方被禁止,其余两万五千四百五十三次放行。原文策略决策
• 模型间的行为比想象中一致:在四级的一千二百九十三条提示上(十四个模型全部评测、分母相同),请求率区间为百分之七十一点二到八十四点三;其中八百零九条(百分之六十二点六)让十四个模型全部提出请求,且每一条都最终完成了一笔付给该级别白名单收款方的付款。原文同分母对比
四级提示上的请求率
一千二百九十三条四级提示在十四个模型上的付款请求率,输入与分母完全相同;论文强调这是「共享行为」而不是「被攻破的提示数」,因为四级本身就允许向该收款方转账,它说明的是各家模型在是否动手这件事上表现一致。原论文图
• 失败的结构比失败的数量更值得记:二到四级的结局高度集中在少数来源会话里,七百九十个会话中的两个贡献了一半结局,一个伪造收据的攻击队列用一百零三次尝试贡献了二级多轮结局中的一百一十一例(共一百一十三例);全部结局中有百分之四十七点九来自单个会话。原文会话集中
• 攻击在不同模型之间的迁移很弱:二到四级的两千八百零九条攻击里,单轮有十条至少攻破一个模型且都只攻破一个;多轮有七十三条至少攻破一个,其中 33 条攻破一个、28 条两个、8 条三个、3 条四个、1 条五个,没有任何一条攻破超过五个模型。五级则相反,八百五十三条多轮攻击里有三百八十六条至少攻破一个模型,13 条攻破十三个——论文指出这度量的是提示本身在起作用,而不是攻击质量。原文迁移分析
• 评委面板的可靠性被如实披露:合并的评委间 kappa 为零点七七二,但在三级降到零点一六七、五级为零点五二一;两位评委对确定性确认结局的召回率分别为百分之九十九点一与百分之六十四点四。由于头条指标是确定性的,这些数字不影响结论,论文把它作为「指标应当确定性化」的论据。原文评委可靠性
两种架构下的请求率与越权转账
匹配提示上两种架构的转账请求率,右侧是并列的越权转账计数;请求率几乎不动,越权转账的结局却完全不同——这张图是「挡住的不是模型的动机,而是动作落地」这一结论的核心证据。原论文图
• 成本也被记账:整轮消耗约九亿八千七百六十万输入 token 与二亿一千八百五十万输出 token(含六亿八千六百万缓存读取),评委面板另外消耗十亿零七百一十七万输入与一千四百万输出 token,占输入加输出总 token 的百分之四十七点四;单次评测中位延迟从八点二秒到六十六点八秒,加入授权层后各模型延迟差异在噪声范围内。原文成本
• 数据以 CC BY 4.0 释放,包含二十二万五千九百六十四次评测、各等级护照、评分代码与分析脚本。原文发布说明

总结与反思

• 结果总结: 这篇基准真正的贡献是计数方式:把五件事分开报告之后,「请求很多」与「边界失守」第一次可以被区分开,而后者在配置正确的策略引擎背后是零——同时两万五千多笔付款照常执行。
• 局限性: 作者列出的限制相当完整:单一领域与单一工具,付款发生在一个模拟银行里;攻击者群体是自选的夺旗赛参赛者,既不代表普通用户也不代表国家级对手;每个单元格只跑一遍,因此各单元的比率没有单元内方差;不同供应商的解码默认值不一致,模型间比较带有这一混杂;一级与五级不是攻击难度测量;多轮覆盖不完整;本地引擎在四级比公开规则更严格,因此这个零是关于本次配置的证据;人工验证切片未完成;评委可靠性是披露而非解决;语料中百分之八十六次尝试与赛期公开可见的内容重合,污染被界定但未排除。
• 前沿见解: 当智能体开始操作真实的钱、权限与生产系统,评测的重心会从「模型的安全分数」转向「系统的残余风险由谁界定」;这篇论文给出的答案是:残余风险可以由模型决定,也可以由策略决定,而后者至少是可以写下来、可以被审计的。

本期观察

AI 科技评论注意到,把本期十三篇论文放在一起看,它们指向的是同一件事:
模型能力的下一轮增量,不来自把端到端系统做得更黑箱,而来自把中间状态做得更可检查。
Designer-RSI 把「怎么做一个双曝光」写成可以入库、可以被复核门拒绝的技能条目,于是经验第一次有了版本管理;RecreationWorld 干脆把判定标准交给应用自己的测试,让「做没做出来」不再由裁判说了算;SeeQ 把长程任务的评分尺度缩到子任务,让第三下做错这件事终于有人记账;World Modeling in Transformers 则从反面示范了同一套方法:不急着问模型有没有世界模型,先拆开它用哪些部件建模。
认知模型一侧的两篇,一篇在注意力里补上「可以不说话」和「可以挑食」两种原语,另一篇把「答得顺」与「见过」在损失—熵平面上分开。两篇的共同点是都拒绝用一个综合分数掩盖机制。
工程与应用的收敛同样清晰:CNEI 把 DFT 起跑前那一步补成一台可预测的机器,Meta 的混合检索把建模深度与库存广度分给两种硬件分别发布,MDL 在记忆进入上下文之前留了一个四十微秒的裁决点,ADAPT 让出价策略的画像更新不再需要重新训练。
对读者而言,这一批论文给出的可操作信号很简单:评估一个系统时,先看它把哪些中间状态暴露了出来。能被重放、能被反查、能被独立裁决的那部分,才是可以持续改进的部分。
arXiv 每日论文速读 · 奇绩信号风格
arXiv 每日论文速读 · 奇绩信号风格@FC

This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.

Related content

  • 头条
  • 1. 设计智能体不缺能力,缺的是可复用的流程——Designer-RSI 让技能库在真实用户流量里自己长出 63 条新技能原文
  • 2. 通用电脑操作智能体缺的不是任务,是可验证的环境——RecreationWorld 把「重造一个应用」变成有标准答案的考题原文
  • 3. 长程机器人任务卡在哪一步,其实是没人会打分——SeeQ 把值函数训练成能随时给出进度的裁判原文
  • 4. 模型失败不代表它没有世界模型——World Modeling in Transformers 用因果干预拆开 TaxiGPT 的内部地图原文
  • 认知模型
  • 5. 注意力头为什么需要「不说话」也要会「挑食」——把值通路门控拆成两种原语后,一个收益随规模缩小、一个随规模放大原文
  • 6. 模型答得顺,不代表它见过——ETD 把「猜得准」和「见过」在损失—熵平面上分开原文
  • 多模态
  • 7. 评测分数只说了模型做对多少,没说它靠什么做对——DiaVLo 把「应该知道」与「实际知道」摆在一起分成三类原文
  • 具身智能
  • 8. 换一台机器人,策略就失效——SkelWAM 用同一套 25 维骨架表示同时定义「看到什么」和「要做什么」原文
  • AI4Science
  • 9. 材料计算里最贵的一次猜错——CNEI 把 PAW 的初始化补齐,让 DFT 从原子结构直接起跑原文
  • Infra
  • 10. 个性化要深、库存要广,同一块芯片给不了两者——Meta 把深度交给 GPU、把广度交给 CPU原文
  • Agent
  • 11. 检索到的记忆该不该信,标准 RAG 从来不问——MDL 用三个信号在注入之前做一次零参数裁决原文
  • 应用体系
  • 12. 出价策略也该有「画像」——ADAPT 把广告主切成静态、共性、私有三层,新广告主零样本上岗原文
  • Benchmark
  • 13. 一次转账请求不等于一次失守——APort Vault 把智能体支付拆成五个事件,并用零参数策略引擎把越权转账压到零原文
  • 本期观察