记忆·蒸馏（PMD）

这首中文硬核 rap 讲的是 Salesforce AI Research 的论文 Procedural Memory Distillation: Online Reflection for Self-Improving Language Models。论文提出 PMD：把 RLVR / SDPO 训练里容易被丢掉的 rollout 过程经验，整理成 experience、insight、behavior 三层过程记忆，再通过 memory-conditioned self-teacher 蒸馏回学生模型权重，让模型在推理时不需要外部记忆也能带着训练中学到的程序性经验。

论文的关键结果也写进了歌词：相对 SDPO，PMD 在 Qwen3-8B 上把 SciKnowEval AVG 从 74.4 推到 77.2，把 LiveCodeBench 从 47.9 推到 51.7；在 OLMo3-Instruct-7B 上把 SciKnowEval AVG 从 69.5 推到 73.3，把 LiveCodeBench 从 45.0 推到 51.1。

[Intro] 八点进站，论文开闸 奖励一响，别急着扔渣 每次 rollout 留下指纹 PMD 把旧错炼成新刀疤

[Verse 1] RLVR 打分，过局就清仓 一条轨迹倒地，经验进冷箱 SDPO 找兄弟答案补一枪 可跨 epoch 的伤口没人上药方

同一道题又来，策略换了皮 哪步能过检，哪步老偏移 成功和失败别只贴标签 把过程熬成记忆，喂回 teacher 机

Experience 存原轨，reward 写明细 Insight 读成招式，败因剥层皮 Behavior 聚同类题，抽成硬规矩 三层往上爬，局部噪声变武器

[Pre-Chorus] 不是外挂记事本，不在推理时查 训练时点火，权重里结疤 policy 写 memory，memory 训 policy 同频共振，别拿静态库装神话

[Chorus] 记忆蒸馏，回炉再烧 episode 的灰烬压成刀 Qwen 从七十四点四冲七十七点二 LiveCode 四十七点九到五十一点七开炮

记忆蒸馏，别只看分 过程里的旧错才是根 OLMo 六十九点五升七十三点三 代码四十五点零翻到五十一点一，关门

[Verse 2] teacher 带 memory reprompt 进场 stopgrad 锁住目标，KL 反向量 学生还跑自己走过的前缀 把「怎么错」和「怎么赢」压进参数墙

batch 里八条 rollout 互相照 科学选择题 avg@16 开审判号 LiveCodeBench score@4 才认过关 单元测试全绿，才给一分的票

冻住 policy，只让记忆疯长 五十四点零，代码三十五点九，没法内化这张网 冻住 memory，再让学生硬扛 六十五点零还差一截，旧地图追不上新枪

Transient 现做现丢，只赢一小段 Persistence 跨步留痕，难题才翻盘 science 题一批就能摸到门 code 成功稀少，必须多轮攒弹

[Bridge] Top one，top three，top five 往外捞 检索深一点，小模型也能过桥 best@k 和 maj@k 拉开阴影 verifier headroom 二到四倍还没耗

SDPO 在 Material 折成一条线 best 十六等于 maj 十六，答案空间被压扁 PMD 多解覆盖多九到十四点 只靠投票不够，候选池要保鲜

[Chorus] 记忆蒸馏，回炉再烧 episode 的灰烬压成刀 Qwen 从七十四点四冲七十七点二 LiveCode 四十七点九到五十一点七开炮

记忆蒸馏，别只看分 过程里的旧错才是根 OLMo 六十九点五升七十三点三 代码四十五点零翻到五十一点一，关门

[Outro] Salesforce AI 把旧轨迹翻篇 Ye Liu 起头，九人把记忆接线 推理不背包，训练先炼金 PMD 说：别丢失败，失败也会押韵