GradRAG:让 RAG 的评估反馈回到检索上游Chapters1×0:08选题与论文进展0:49一条反馈如何回到上游1:54实验结果与代价2:45它对 Loop Engineering 的启发3:51限制与团队落地4:45一句话带走0:005:260:08主持人过去 24 小时没有足以支撑单主题深挖的公开一手动态,今天把范围放宽到过去一周。选中的事件,是一篇 7 月 23 日提交到 arXiv 的论文,名字叫 Grad RAG。0:19主持人它研究的不是换一个更大的模型,也不是再堆一个向量数据库,而是给 RAG 加上一条测试时的反馈循环。答案和证据被评估以后,反馈会回到检索和证据构建的上游。0:33主持人论文在 SQUALITY 和 QMSUM 两个数据集上测试了这套方法,覆盖扁平分块检索和图检索两种路线。作者报告的结论很直接:把反馈传给多个组件,稳定优于只修改最终回答的单步优化。0:49主持人普通的 RAG 是问题进来,检索器找片段,回答器生成答案,评估器最后打分。很多系统到这里就停了,低分样本只进日志,下一轮仍用同一套检索提示词。1:02主持人Grad RAG 把这条链画成一张计算图。一次前向执行先完成检索、证据组织和回答,评估器同时检查答案以及支撑答案的证据。它输出结构化反馈,告诉后面的优化器哪里出了问题,再由优化器改写一个或多个上游 Agent 的提示词。1:21主持人在扁平检索里,被改进的可以是查询生成和证据选择。在图检索里,被改进的还包括实体与关系的抽取,也就是图构建器。最终回答器当然也能调整,但它不再是唯一一个接受反馈的组件。1:35主持人下一轮会重新跑这张图。评估器如果判断结果已经足够好,就提前停止;如果没有达到要求,就继续优化,或者在达到最大迭代次数后停止。论文的实验把最大 refinement 轮数设为 3,而且每个测试样本独立处理,样本之间不会直接复用刚才改过的提示词。1:54主持人论文的对比也比较干净:基线只更新回答器,检索器或图构建器保持不动;Grad RAG 把同一份反馈继续向上游传。这样测到的才是跨组件适应,而不只是多调用一次模型。2:08主持人在论文报告的配对评审中,Grad RAG 在两种检索范式下都占优,净偏好优势大约是 12 到 15 个百分点。大部分收益集中在前两轮 refinement,继续往后并没有显示出同样明显的增益。2:23主持人代价也很清楚。论文测得,一次完整 refinement cycle 大约需要 35 秒,基线约 30.5 秒;token 使用量从 6040 增加到 8140。时间大约多了十分之一,但 token 开销增加得更多。这个差别在生产环境里不能靠一句「质量更好」带过,必须算进单次任务预算。2:45主持人第一条启发是,反馈不能只挂在最终答案上。回答错了,原因可能是查询漏了关键实体,图里漏了关系,或者回答器没有用好已有证据。只记录总分,工程师不知道下一轮该改哪里。3:00主持人团队可以给每个组件定义可追踪的输入、输出和失败位置:检索器记录查询与证据,图构建器记录实体关系,回答器记录实际引用。评估反馈要带组件位置和可执行动作,不能只有模糊的低分。3:17主持人第二条启发是,评估器本身就是循环里的控制器。它既决定要不要继续,也决定反馈往哪个方向传。没有明确的停止条件,系统会把「再改一轮」当成默认答案,成本上升,结果却可能只是换一种说法。3:34主持人落地时至少要设三条线:质量阈值、最大迭代次数和单任务成本上限。三条线里任何一条先触发,都结束这次循环,并把停止原因写进 trace。论文使用最多 3 轮可以作为参考,但不应该直接当成你的业务配置。3:51主持人这篇论文的结果还不能直接等同于线上收益。实验采用的是每个样本独立的测试时优化,改过的提示词不会跨样本积累;论文也没有使用参考答案或外部 reward signal,评估器主要根据答案和证据本身做判断。它证明了循环结构有效,但没有替团队解决长期记忆、线上反馈质量和数据分布变化的问题。4:15主持人最小落地路径不是把所有 Agent 都接进自我优化。先挑一条可回放的 RAG 链,保存查询、证据、回答、反馈和停止原因;只让一个上游组件接受反馈,再和只改回答器的基线比较质量、延迟、token 与人工复核率。4:34主持人如果检索确实是瓶颈,再把反馈扩展到图构建或查询规划。每扩展一个组件,都保留独立 trace 和回归集,否则没人说得清循环为什么变好。4:45主持人Grad RAG 给 RAG 循环补上的,不是又一个生成步骤,而是反馈的回传路径。下一次你检查 Agent 或 RAG 的评估系统时,可以先问一个很具体的问题:答案错了以后,系统能不能指出应该改检索、改证据结构,还是改回答;如果只能给出一个总分,这条循环还没有真正闭合。5:08主持人今天的节目就到这里。原论文链接已经放在节目正文里,方便你继续核对实验设置和限制条件。我们明早再见。