7月27日 AI音乐 arXiv 深读：Music-JEPA 建模动作到声音，Reflector 跟随编曲更新和声检索

arXiv cs.SD 的 new 页面显示，2026 年 7 月 27 日（周一）的列表里出现了两篇直接处理音乐结构的论文：Music-JEPA 把钢琴音频当作会随演奏动作变化的状态，Reflector 则让样本检索跟着编曲时间线里的和声组合更新。两篇论文的摘要页都显示 v1 提交于 7 月 24 日，所以这里的覆盖窗口按 new 列表日期记为 7 月 27 日，不把提交日改写成列表日。1 2 3

这两篇工作的共同点，是把「音乐关系」放进了模型可以操作的接口：Music-JEPA 学的是动作如何改变下一个声音状态，Reflector 学的是一组声音叠加后应该怎样改变检索结果。前者的证据更接近表征学习和下游任务，后者的证据更接近检索几何和系统速度；它们都没有证明对更广泛音乐场景的泛化。

普通的音频自监督表示可以学习「这段声音像什么」，却未必能回答「如果演奏者改变了动作，接下来会发生什么」。Music-JEPA 把这个问题写成一个动作条件的状态转移：当前音频是状态，pianoroll 和 sustain pedal 是动作，模型在潜在空间预测动作带来的下一个音频状态。论文训练时不需要和环境交互，而是使用已经对齐的音频和 MIDI 数据。2

这个设定很具体。每个状态是 2 秒的钢琴片段，动作包含 88 个音高的 pianoroll 和踏板信号。音频转成 229 个 mel 频带、10 ms 帧率的 log-mel spectrogram。模型因此面对的不是一个抽象的「音乐动作」，而是某个时间片里按下哪些键、力度怎样变化、踏板是否持续。4

Music-JEPA 用 ViT 风格的 Transformer 编码器把 spectrogram 和 pianoroll 切成 patch。状态编码器输出音频表示，动作编码器输出演奏表示；状态预测器接收当前状态和下一时刻动作，预测下一状态，动作预测器则学习动作序列本身的时间结构。损失由两部分组成：状态转移误差，以及动作预测误差。4

训练采用 EMA teacher 和 stop-gradient 目标，避免潜在表示塌缩；编码器输出还做 layer normalization，防止模型只靠放大表示的尺度降低损失。完整模型约 19M 参数，状态编码器 12 层、动作编码器 8 层，两个预测器各 6 层。作者在 MAESTRO v3.0.0 上训练，这个数据集约有 200 小时带时间对齐 MIDI 的钢琴录音，曲目主要来自 17 世纪到 20 世纪初的古典作品。训练使用单张 NVIDIA A100、batch size 128，经验上跑 15 到 25 个 epoch。4

这里的设计价值不在于把 pianoroll 当成额外标签，而在于改变了表示学习的训练问题。被动 JEPA 只需要把音频片段组织得有用，Music-JEPA 还要让表示对「动作是否真的能产生这个声音」敏感。作者用 AO-JEPA，也就是不带动作条件的音频 JEPA，作为直接对照。

论文先做了动作条件动态的扰动测试。把正确的状态或动作换成时间偏移、随机片段、音高移调、力度缩放和踏板变化，观察模型是否更偏好正确的状态转移。Music-JEPA 在输入状态时间扰动、输入随机扰动、目标状态时间扰动和目标随机扰动上的 win rate 分别为 0.929、0.999、0.991 和 0.992；AO-JEPA 对应为 0.787、0.986、0.576 和 0.984。这里的 win rate 是被扰动样本产生更高损失的比例，结果说明动作条件确实让模型更容易区分一部分正确与错误的时间转移，尤其是目标状态的时间扰动。4

下游结果更值得细看，因为它没有给出「所有任务都赢」的简单故事。beat tracking 的 F1@70 为 0.6208，F1@100 为 0.6599；composer identification 的 Top-1、Top-3、Top-5 分别为 0.3540、0.7045、0.8734；key recognition 的 weighted F1 为 0.7617。与 AO-JEPA 相比，Music-JEPA 在这些任务上大多更好或相近，但与 95M 参数的 MERT 比较时，MERT 的 composer Top-1 为 0.4059、beat tracking weighted F1 为 0.6690，仍然更高。Music-JEPA 在 composer Top-3 和 Top-5 上超过 MERT，不能据此写成全面胜出。4

论文还把学到的动力学用于钢琴转录规划。做法是冻结 JEPA，训练 inverse predictor，根据目标状态序列反推潜在动作，再用单独训练的 decoder 还原 pianoroll。note-level transcription 的 F1 为 0.8381，低于表中两个监督方法的 0.9113 和 0.9375；但连续 sustain pedal 估计的 MAE 为 0.1222，在表中最低。这个结果更像是一个规划可行性的展示：动作条件表示能帮助模型解释踏板对声音的连续影响，但还不能替代强监督的音符转录器。4

Music-JEPA 的证据范围被 MAESTRO 明确限定在古典钢琴、配对音频和 pianoroll 上。它没有验证无动作标注的训练，也没有验证乐队、多声部录音或 composition-level planning。高维动作空间使直接梯度规划不稳定，作者因此改用 amortized inverse predictor；这解决了实验中的可计算性，却没有说明规划能否扩展到更抽象的音乐动作。代码和预训练模型在原文中写为即将发布，当前最完整的证据仍是论文中的离线实验。4

如果你在做钢琴转录、动作条件音频建模或音乐表征学习，应该重点看它的扰动设计和 planning 章节。真正需要复现的问题不是「19M 参数是否够小」，而是换成更复杂的演奏、缺少 MIDI 动作时，状态-动作关系还能否保留下来。

固定参考样本的检索器，默认查询对象不会改变。但编曲不是一次查询：作曲者先放入一个声音，再叠加第二个、第三个声音，当前和声背景已经变了，下一次检索应该响应新的组合，而不是一直围绕最初的样本打转。

Reflector 做的是一个交互式工作站原型。它把时间线中同时发声的片段找出来，计算这些片段的组合和声，再用这个不断更新的 session 表示去检索样本。论文选择了一个明确而有限的轴：pitch-class 之间的兼容性。它没有声称同时解决音色、律动和动态的匹配。3

Reflector 的核心是一个手工设计的 12×12 interval-class kernel。两个声音先经过 CQT 和 chroma 提取，kernel 按音级之间的区间类别给组合打分，再对时间上真正共响的部分加权。纯五度和三度得到正向权重，半音和三全音受到惩罚；这些权重表达的是一套西方和声假设，论文也明确说它们没有经过听觉实验验证。5

直接用这个 kernel 检索会遇到一个很实际的问题：少数「什么都能搭」的样本可能反复占据 top-10，其他材料很难出现。Reflector 用合成音频训练一个 128 维、L2 归一化的 encoder，先用 12 种移调兼容性分布和标量分数监督，再用 InfoNCE 让最终 embedding 的点积几何更适合检索。训练数据来自 additive synthesis，随机化波形、失谐、混响、合唱、失真和噪声，不使用受版权保护的训练录音。5

推理时，每个文件被切成 3 秒、50% 重叠的窗口，窗口 embedding 聚合成文件表示。作曲者把样本放到多轨时间线后，sweep-line 分析找出共响区域；区域表示先按持续时间和两两和声一致性聚合，再形成 session centroid。这样，查询对象从「最初放入的一个样本」变成「当前编曲已经形成的和声上下文」。

Reflector 在一个 631 个样本的工作库上做系统表征。样本来自作者和另一位专业作曲家的个人收藏，覆盖电子、原声、田野录音、纹理音色和处理合成，时长从几秒到几分钟。embedding 对 oracle 的成对判断达到 NDCG@10 0.85，标准误差为 0.003，所有查询的结果不低于 0.73。5

更能说明问题的是覆盖率。直接 kernel 检索时，631 个查询里只有 64 个样本曾进入过任何一次 top-10，其中一个稀疏的 drone 样本出现在 97% 的这些 top-10 中。换成 learned embedding 后，625/631 个样本被覆盖，单个样本最多出现在 29 次 top-10。这个结果不是在说 embedding 发现了更好的和声理论，而是在说它把一个容易偏向少数候选的评分规则，变成了更适合浏览整个样本库的检索几何。5

速度也有明确数字。对一个包含 198 个窗口的文件，向量化后的完整成对一致性计算约需 2 ms，直接循环实现约需 1 分钟，差距约为四个数量级。另一个有用的观察是移调：工作库中 68% 的 top-10 查询对在某个非零移调下有更高的兼容性，所以系统会继续测试候选的 12 个音级位移，而不是只按原调性排序。5

会话级分析把「编曲会改变检索」具体化了。在 24 个会话中，随着安排推进，arrangement centroid 的 top-10 与第一个样本查询的 top-10 重叠度从 1 降到 0.27，约四分之三的建议会发生变化。论文还给出一个三全音 pivot 的例子：pivot 后 70% 的 top-10 建议发生变化，两个 passage centroid 的 cosine 为 0.35，session centroid 相对 pivot 前位置的 cosine 为 0.82。这里的证据能支持「检索跟着和声上下文移动」，不能支持「这些移动一定更符合人的审美」。5

Reflector 的局限集中在它选择的和声轴和评测范围。631 个样本来自两个作曲家的个人库，作者明确不主张结果具有普遍性；kernel 和合成语法编码的是西方调性，非西方调式和无调性材料需要重新设计。系统只判断 pitch-class 关系，不判断音色、纹理、动态和节奏；每个文件最终只有一个 embedding，频繁换调或无调材料可能被其最稳定的和声内容主导。论文也没有用听测证明 kernel 权重在感知上最优，没有专门测量显式多样性控制或训练规模效应。5 5

做音乐检索、采样器或编曲工具的人，可以把它当成一个清楚的系统设计样本来读：先给定一个可检查的和声 oracle，再让 embedding 解决实时检索和候选覆盖问题。不要把它当成已经完成的「自动配器」方案，论文评测的是规则一致性、推荐覆盖和运行效率，还没有验证人在真实编曲循环中是否更快找到满意材料。

Music-JEPA 和 Reflector 都把音乐结构关系接到一个可执行接口上，但接口的方向相反。Music-JEPA 用配对的音频-MIDI 观测学习时间上的状态转移，随后用表示做 beat、作曲家、调性识别和转录规划；Reflector 从手工指定的和声关系出发，训练一个更适合检索的几何空间，再让这个空间随着多轨时间线里的共响区域更新。

因此，两篇论文回答的不是同一个问题。Music-JEPA 的强项是「模型是否对动作造成的变化敏感」，它有动作扰动和下游任务作为证据，代价是数据域窄、音符转录仍落后于监督方法。Reflector 的强项是「规则是否能被部署成不易坍缩的检索系统」，它的覆盖和速度结果很具体，代价是和声规则、样本库和评测都还没有离开作者设定的工作范围。

如果你想研究钢琴音频的表征、演奏建模或 latent planning，先读 Music-JEPA；如果你关心 sample browser 如何进入编曲循环，先读 Reflector。两篇都值得读，但理由不同：一篇把「动作」变成解释声音变化的变量，另一篇把「当前编曲」变成改变检索结果的变量。2 3