从下一窗口到局部对齐：7 月 14 日 AI 音乐 arXiv 两篇论文深读

本期覆盖 arXiv 官方 cs.SD 在 2026 年 7 月 14 日显示的新列表，重点筛选直接涉及符号音乐表征、音乐理解或音频-乐谱对齐的论文。需要区分两个日期：分类页把 ARIMA、FuSiLi 列在 7 月 14 日的新列表中，而论文详情页显示它们的 v1 提交日期分别为 7 月 10 日和 7 月 10 日。本文沿用 arXiv 的新列表作为日更窗口，同时在各篇信息处保留详情页日期，避免把列表日期写成首次提交日期。1

两篇论文都满足频道的 AI 音乐范围，但问题不同：ARIMA 处理符号音乐的时间级表示学习，FuSiLi 处理演奏音频与乐谱图像之间的局部对应。它们共同指向一个容易被生成模型热度盖住的问题：模型究竟有没有学到可用的音乐结构，而不只是记住 token 或全局相似度。

符号音乐的自监督学习长期依赖 MIDI token。这样做适合生成和音符级分类，但同一段音乐在不同 tokenizer 下可能对应完全不同的 token 数量，时间跨度也只能通过池化间接得到。ARIMA 的问题很具体：能否把音乐切成固定时长窗口，直接学习一个可用于下游分析的窗口级连续表征，并让表征知道前后窗口如何衔接？2

ARIMA 把每个 2 秒窗口编码为 content latent z。输入音符不是简单的音高序列，而是由音高、力度、起始时间、持续时间、音符间隔，以及跨窗口连音标记组成。4 层 Transformer encoder 负责窗口内的内容，6 层因果 Transformer decoder 读取连续窗口的 z，预测下一个窗口的 latent，形成 temporal hidden state h。模型约 3,800 万参数，预测器最多使用 60 个窗口，也就是 120 秒上下文。2

训练目标有三块。第一块是对比式 next-latent prediction：模型预测下一个窗口的表示，与 EMA target encoder 产生的真实表示做 InfoNCE，对同一作品的其他窗口加大负样本权重。第二块是结构化重建，从 z 重建 onset、sustain、chroma 和 velocity。第三块是速度回归。作者还用移调和力度扰动做增强，让表示不要把单纯的绝对音高当成作品身份。2

训练数据约有 15,000 段钢琴演奏，来自 ATEPP、POP1K7、POP909 和 EMOPIA。评估覆盖 9 个任务、6 个数据集，包括作曲家和演奏者识别、情绪分类、调性估计、难度估计、IOI 回归、演奏者验证与跨演奏检索。作者分别报告内容表征 z 和时间预测表征 h 的结果。2

在参数量不超过 110M 的可比模型中，h 表征的作曲家分类 F1 为 92.1%（21 类）和 94.9%（16 类），ARIMA 的模型规模是 38M。它在调性估计上也达到 81.0% 到 82.7% 的准确率区间，跨演奏检索 R@1 为 98.6% 到 99.0%。作者的汇总口径是：z 与 h 合计在 9 个任务中的 5 个达到最佳结果。2

但这不是一张全面碾压的成绩单。ARIMA 在 Pianist8、演奏者识别和情绪分类等更依赖动态表达的任务上，低于部分 token-level 自回归模型。这个结果与模型设计相符：z 的结构化重建擅长保留音高、起音和和声信息，h 擅长组织窗口之间的时间关系，却未必能完整表达演奏中的细微风格和情绪变化。2

消融实验最有价值的地方在于，它没有只展示一个更大的数字。去掉 next-latent prediction 后，h 不再存在，z 在分类和时间相关任务上也明显下降；例如 21 类作曲家分类从 86.5% 降到 81.4%，IOI 回归从 0.738 降到 0.639。相反，加入 VICReg 的变化轻微且不稳定，说明结构化重建已经提供了足够的防塌缩压力。2

这给表示学习一个清楚的分工：重建目标让窗口表征别丢掉音乐细节，下一窗口预测则迫使模型学习时间进展。作者还报告，去掉 onset/sustain 分离头后，部分相似度指标反而变好，但演奏者、钢琴家和情绪任务出现退化。结构更合理，不等于每个 benchmark 都会更高。

ARIMA 当前主要在钢琴和符号数据上验证，训练规模也小于作者用来比较的基础模型。它对动态表达的弱点，意味着这套表征还不能直接替代专门的演奏风格模型。另一个边界是训练稳定性：作者尝试过更纯粹的 JEPA 式非重建预测，但出现发散或塌缩，因此没有把那条路线作为最终模型。2

做 MIDI 表征、音乐检索、演奏分析，或者想研究「预测下一个音乐状态」的人，适合先读这篇。产品侧则可以把它看成一个提醒：下游任务若需要情绪、力度和演奏风格，只有窗口级结构和下一窗口预测还不够。

音频和乐谱图像配对并不难，难的是知道音频中的哪一帧对应乐谱上的哪个位置。人工制作这类局部标注成本很高，而大规模数据通常只告诉模型「这段音频和这张谱是同一首作品」。FuSiLi 研究的是：只用这种全局配对监督，能否让模型学出帧级对应？3

标准 CLIP 或 CLAP 的做法是先把图像 patch 和音频 frame 分别池化成两个全局向量，再计算一个余弦相似度。FuSiLi 把顺序反过来：先计算每个乐谱 patch 与每个音频 frame 的局部相似度矩阵，再用 Sinkhorn 迭代得到软对齐矩阵，最后把局部相似度汇聚成训练对比学习所需的一个分数。论文把这个思路称为 fuse-then-pool。3

Sinkhorn 的作用不是简单地把每一行最相似的 frame 挑出来，而是同时约束图像 patch 和音频 frame 两侧的分配，使对应关系不会全部挤到少数局部区域。它也不强行假设乐谱图像中的位置按时间单调排列，这一点对有换行和竖向结构的谱面很重要。

模型在 PDMX 的约 40,000 首作品和约 345,000 个图像-音频配对上训练，微调预训练的 CLIP ViT 和 LAION-CLAP HTSAT 编码器。MSMD 用于有 note-level 对齐真值的局部评估，YTSV 用于真实扫描乐谱和演奏音频的跨域测试。训练目标混合全局对比损失与 FuSiLi 局部损失。3

在 MSMD 的 frame-level 对齐任务上，标准全局对比基线的 Top-1 为 16%，FuSiLi 混合目标达到 30%。在 point-and-retrieve 测试中，图像到音频的 Top-1 从 1.33% 提升到 13.91%，论文称这是超过 10 倍的提升；音频到图像方向约为 14% 对 5%。3

局部对齐变强后，检索能力没有被完全牺牲。作者报告，在 PDMX、MSMD 和 YTSV 上，混合目标的全局检索与基线接近；论文给出的平均 MRR 是 FuSiLi 43.5%，基线 43.8%。这也是混合损失存在的理由：只优化局部目标会得到更强的局部对齐，却让全局检索明显下降。3

消融实验直接说明了 Sinkhorn 不是装饰。把它替换成简单的局部余弦相似度后，在 hybrid 设置下局部 Top-1 从 30% 掉到 2%，point-and-retrieve 也降到约 2%。局部损失权重为 1.0 时，局部对齐很强但检索明显变差；权重为 0.5 的混合设置是作者认为的整体折中。3

FuSiLi 还有一个工程上容易被忽略的点：Sinkhorn 主要用于训练，推理时可以直接使用帧级 cosine，论文报告局部对齐推理成本从 37ms 降到 5ms。也就是说，训练阶段增加的结构并没有原样转化成线上检索成本。3

FuSiLi 的训练数据主要来自 MusicXML 渲染的合成配对，真实的 YTSV 数据存在明显域偏移，基线和 FuSiLi 都会受到影响。mutation 数据增强还带来样本多样性与近重复之间的取舍，作者建议把增强样本追加进数据集，而不是替换原始样本。与 U-MusT 的比较也不是严格同条件实验，论文明确把它称为不可完全类比的参考。3

做乐谱搜索、自动跟谱、音频与视觉乐谱理解的人，可以从这篇论文里看到一个很实用的设计选择：局部结构未必需要额外的局部标签，也可以通过改写相似度函数，让全局配对监督承担更多工作。但它还没有解决真实扫描谱面、不同演奏版本和复杂长曲目的域适配问题。

ARIMA 把时间结构放进表示学习目标，FuSiLi 把局部结构放进跨模态相似度。前者说明「预测下一个窗口」比单纯重建更能组织长时信息，后者说明「先局部对齐再池化」比直接比较全局向量更适合处理音频与谱面之间的细粒度关系。

两篇论文也都没有把一个指标的提升包装成通用理解能力。ARIMA 在动态表达上仍有短板，FuSiLi 在合成配对和真实谱面之间仍有落差。对 AI 音乐研究者来说，下一步值得核对的不是模型名字，而是它到底保留了什么音乐信息、在哪些数据分布上有效，以及训练时加入的结构是否真的能在推理时留下可用收益。