Qwen-Image-Agent：先补上下文，再让模型画图
Qwen-Image-Agent 把真实图像生成里的模糊需求拆成规划、推理、搜索、记忆和反馈环节。文章解读 Context Gap、IA-Bench 的评测设计、实验数字，以及这条 agentic 图像生成路线的成本和边界。
图像模型最常见的翻车，不是画面不够精致，而是它不知道你真正要什么上下文。用户说「做一张 2026 NBA 总决赛比分牌」，模型还得知道参赛球队、系列赛比分、队标长什么样、电视转播版式该怎么排。Qwen-Image-Agent 这篇论文把这种缺口称为 Context Gap：用户给出的上下文，和图像模型真正需要的生成上下文不一致。1
它的处理方式也很直接：别急着把 prompt 扔给绘图模型，先让一个 Agent 把缺的信息补齐。论文提出的 Qwen-Image-Agent 会围绕规划、推理、搜索、记忆和反馈构建生成上下文，再交给图像模型渲染。arXiv 页面显示，这篇论文 v1 于 2026 年 6 月 25 日提交，v2 于 6 月 26 日修订。1
先看结论：这不是新画笔，而是画图前的「补题器」
Qwen-Image-Agent 的重点不在于换一个更强的图像生成 backbone。论文默认用 Qwen-Image-2.0 做图像生成和编辑，用 GPT-5.5-0424 做多模态大模型 backbone；Agent 负责把一句不完整需求，改写成足够具体、可执行的生成上下文。2
这和普通的 prompt engineering 不一样。prompt engineering 通常要求用户自己把需求写完整；Qwen-Image-Agent 假设用户说不完整是常态，系统要主动问「还缺什么」。论文把流程拆成两块：
- Context-Aware Planning：先识别缺口，再决定该用推理、搜索、记忆还是反馈去补。
- Context Grounding：把缺的信息从推理、网页搜索、图像搜索、历史对话和生成反馈里捞出来，组织成更完整的生成条件。2
如果用一句话概括，这篇论文想把图像生成从「直接按提示画」推进到「先理解任务，再准备素材，最后画」。对真实工作流来说，这一步很关键。营销图、产品图、演示页、信息卡经常依赖最新事实、品牌素材、历史偏好和多轮修改，用户不可能每次都把这些信息写进一句 prompt。
方法：三层规划，把模糊需求拆到能画为止
论文里的 Context-Aware Planning 有三层。
第一层是 information-level planning。系统先把用户请求拆成一组缺口问题：缺什么事实，缺什么视觉参考，哪些部分要靠常识推理，哪些部分必须搜索。比如比分牌例子里，参赛球队和总比分属于事实问题，队标属于视觉参考问题，版式则要转成具体布局要求。2
第二层是 content-level planning。系统把已经补到的上下文整理成更详细的生成规格，覆盖主体、属性、布局、风格和文字元素。它不是简单扩写 prompt，而是把「我要一张图」改成「图里应该出现哪些对象、放在哪里、以什么样的视觉风格出现、哪些文字必须可读」。2
第三层是 generation-level planning，处理多图和多轮场景。多轮对话里，历史内容越堆越长，模型容易漂；多图生成里，不同图片之间可能是并列、顺序或混合依赖。Qwen-Image-Agent 会选择相关上下文，并把生成上下文分配到不同图片或不同轮次，避免把所有历史都塞进一次生成。2
Context Grounding 则负责把规划里的缺口补上。论文列了四种来源：reason 用来推断隐含意图；search 用来拿最新事实和视觉参考；memory 用来复用历史对话、用户偏好和外部知识库；feedback 用 VLM 按 checklist 检查生成结果，把失败项转回下一轮生成上下文。2
IA-Bench：它想考的不是「像不像」，而是会不会办事
这篇论文另一个核心贡献是 IA-Bench。传统图像生成评测常看画质、文本对齐、审美或复杂 prompt 遵循；IA-Bench 更像在考一个图像 Agent 能不能完成任务。
IA-Bench 覆盖 4 类能力、17 个子任务、730 个测试样例和 1801 个细粒度 checklist 项。四类能力分别是 Plan、Reason、Search 和 Memory：Plan 考多对象和多面板布局；Reason 考数学、科学、迷宫、地图和几何等推理再落图；Search 考 IP 实体、股票、天气等外部知识；Memory 考用户资料和历史对话能不能跨轮复用。2
评测指标也比较严。Pass Rate 要求一个样例的所有 checklist 全部满足才算通过；Checklist Accuracy 则统计满足了多少 checklist。论文还定义了 IA-score：Plan、Reason、Search 各占 0.3，Memory 占 0.1。这个权重会让规划、推理和搜索对总分影响更大。2
这个设计有一个好处：它把「看起来不错」和「任务真的完成」分开了。比如生成停车场，图像可能很真实，但如果红车、蓝车、黑车数量错了，Pass Rate 就过不了。生成股票信息卡也一样，画面漂亮不够，日期、公司名、开盘价和收盘价都得对。
实验数字：Agent 加得有用，但有几个前提
在 IA-Bench 上，Qwen-Image-Agent 的 IA-score 是 45.4，高于 Nano Banana 的 43.1、Nano Banana Pro 的 42.6、GPT-Image-1.5 的 35.7，也明显高于直接生成基线 Qwen-Image-2.0 的 17.4。分项 Pass Rate 上，它在 Plan、Reason、Search、Memory 四项分别为 45.3、43.7、46.1 和 49.0。2
在 WISE-Verified 上，Qwen-Image-Agent overall 得分为 0.9020，高于 Nano Banana Pro 的 0.8760；在 MindBench 上，它 overall 得分为 0.42，略高于 Nano Banana Pro 的 0.41，也高于 Qwen-Image-2.0 的 0.23。论文称，相比 Qwen-Image-2.0，Agent 框架在 MindBench 上带来 82.6% 的提升。2
但这些数字不能只读成「Qwen 图像模型更强」。论文自己的实验设置说明，Agent 部分用了 GPT-5.5-0424 作为多模态大模型 backbone，并使用 Google Search API 做网页和图像搜索，文本搜索和图像搜索上限都设为 5；IA-Bench 上最多允许 3 轮反馈，WISE-Verified 和 MindBench 上则关闭反馈循环，以便和非 Agent 方法直接比较。2
也就是说，成绩来自一整条系统链路：强多模态模型负责识别缺口和组织上下文，搜索工具负责补事实和参考图，Qwen-Image-2.0 负责最终渲染。把其中任一块拿掉，效果都会掉。
论文的消融实验也说明了这一点。默认 IA-score 是 45.4；去掉 Reason 降到 35.1，去掉 Search 降到 34.3，去掉 Memory 降到 40.5，去掉 Feedback 降到 42.1。把 MLLM backbone 换成 Qwen 系列后，IA-score 降到 27.8；把生成 backbone 从 Qwen-Image-2.0 换成较旧的 Qwen-Image 后，IA-score 为 28.3。2
真正的看点：图像 Agent 的瓶颈前移了
这篇论文最有价值的地方，是把图像生成的失败原因往前挪了一步。过去很多讨论默认问题在「画得不够好」，所以路线是换更大的图像模型、更好的训练数据、更强的编辑器。Qwen-Image-Agent 说，真实任务里很多失败发生在绘图之前：系统没有识别缺口，没有拿到事实，没有保留历史，也没有检查输出。
这会改变产品设计。一个面向设计、营销、运营的图像工具，可能不能只做一个输入框加出图按钮。它需要在用户提交前后做更多事：补事实、找素材、生成 checklist、保留品牌偏好、在多轮编辑时挑出相关历史。换句话说，图像生成系统会越来越像一个带工具的工作流，而不是一个单点模型。
但边界也很清楚。
论文在讨论部分列出了几个难题。第一，有些 context gap 太隐含，系统可能根本没发现缺口；这类问题不是换更强的渲染器就能解决。第二，reason 和 search 的边界并不总是清楚，常识、精确事实和动态事实要分流，否则会用模型记忆硬猜本该搜索的内容。第三，过度图像搜索会引入无关视觉偏差，参考图太多反而可能伤害生成质量。2
多轮生成还有上下文爆炸问题。参考图、历史生成图、搜索图片和用户上传图都会消耗视觉上下文，堆太多会让强模型也失败。论文的做法是按相关性选择历史，而不是把所有内容都保留。反馈环节的增益也有限，原因是目前反馈主要是生成后的 prompt 级修正，未来可能需要更早介入缺口识别和上下文补全。2
最后还有成本。完整 Agent 流程会带来规划、推理、搜索、上下文整合、生成和反馈循环，延迟和费用都高于一次性生成。论文用 DAG 并行执行来缓解，但也承认这条链路仍然更贵。2
所以，Qwen-Image-Agent 更像一个方向标：当图像模型开始进入真实生产任务，核心竞争不只是谁画得更漂亮，也是谁能在画之前把任务弄明白。对读者来说，接下来评估这类图像 Agent，可以少看几张精选样图，多看三件事：它能不能发现自己缺什么，搜索和记忆会不会带偏，连续改十轮后还能不能稳住事实、版式和视觉一致性。
References
- 1
- 2Qwen-Image-Agent PDF
arxiv.org
This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.