7月21日 AI音乐 arXiv 深读：SongSQA 让演唱质量变成时间曲线，HARP 让 codec 按谐波分层

本期覆盖 arXiv cs.SD 在 2026 年 7 月 21 日显示的 new submissions 列表。该列表共显示 26 条记录，其中 13 条属于新投稿，另有 3 条交叉投稿和 10 条替换投稿。直接涉及 AI 音乐的候选包括整曲演唱质量评估、神经音频 codec 和零样本音乐编辑。1

FlowSonic 也出现在同一批新投稿中，但它与上一期 StemFX 已讨论的音乐编辑工作流相邻。本期优先保留 SongSQA 和 HARP，让读者看到评测表示与音频表示两条不同的研究路线。1

演唱质量评估常见的输出是整首歌一个分数，但一首歌里的主歌、副歌和桥段可能有完全不同的演唱状态。把整体分数复制给每个 10 秒片段，会让训练标签看起来很密，实际却没有告诉模型哪一段唱得好、哪一段失真。SongSQA 针对的就是这个缺口：它既预测整曲质量，也输出按时间排列的片段分数。2

SongSQA 分两步训练。第一阶段是 Segment Score Predictor，输入 10 秒音频片段，使用 MuQ 音乐自监督表示，再经过两层 self-attention encoder。模型把原始 MuQ 表示的 MaxPool 和上下文表示的 MeanPool 拼接起来，预测片段分数。这里的监督不是人工逐片段标注，而是来自预训练教师模型的 Singing dimension 分支，因此它学到的是教师对片段的判断。

第二阶段把一首歌切出的有序片段重新放回序列。模型同时保留每段的特征和预测分数，把两者融合成 segment embedding，再加一个可学习的 song embedding，交给两层 Transformer encoder 做整曲聚合。额外的 consistency regularization 约束片段分数的平均值与整曲标签保持一致。这样做的重点不是把所有片段独立打分，而是让片段质量和它在整首歌中的位置共同参与最终评分。2

论文在两个数据集上做了 5 次独立的 8:1:1 随机划分，并报告平均结果。Lyra-SA 有 1,000 条来自 WeSing 的完整演唱录音，覆盖 10 首歌，每首 100 个 cover，由非专业听众评分；内部数据集有 2,035 条录音，覆盖 1,284 首歌，由 4 位专业音乐专家标注。后者的标签范围是 0 到 100，前者是 0 到 1。内部数据集是私有数据，两个数据集的标注者和分数尺度也不同。2

SongSQA 在两个数据集的 KTAU 分别是 0.4662 和 0.7121。按论文给出的相对计算，内部数据集相对最强基线的 KTAU 提升为 13.95%；Lyra-SA 也从 0.4180 提升到 0.4662。MSE、LCC 和 SRCC 同方向变化，说明提升不只来自某一个排序指标。2

这里有一个容易被忽略的对照。把整首歌的 ground-truth 分数直接复制给每个片段，结果不如使用教师模型产生的片段伪标签；只保留片段分数、不保留片段特征也明显变差；去掉 song embedding 和 Transformer、改成平均池化，同样损失性能。实验支持的不是「曲线越细越好」，而是片段特征、片段分数和片段顺序需要一起进入整曲聚合。2

SongSQA 的时间曲线有用，但它不是由逐段人工标注直接训练出来的。第一阶段的片段标签来自教师模型，教师模型的偏差会沿着两阶段流程传递。10 秒片段和 5 秒重叠也决定了曲线的时间分辨率，它更像一个可比较的诊断视图，而不是能精确定位到每个音符的测量仪。

数据分布也限制了外推。Lyra-SA 只有 10 首歌的 1,000 个 cover，内部数据集主要是普通话和粤语演唱，内部样本与评分规则又无法让外部研究者直接复现。论文没有给出代码入口。对产品团队而言，这篇论文最稳妥的用法是把质量曲线放到录音筛选和片段复核界面，先验证它能否帮助人找到问题段落，再考虑把分数用于自动排序。2

RVQ 音频 codec 通常用多级 codebook 逐步降低重建误差，但标准训练并不保证第 1 级保留低频、第 9 级再补高频。于是截断码本时，少掉的频率成分不可预测。另一种并行频带分解能让频率职责更清楚，却把不同频带的 decoder 拆开，基频和泛音可能失去共同上下文。HARP 的做法是在不改变推理架构的情况下，改写训练时的残差分组和损失。3

HARP 把 DAC 的 9 个 RVQ stage 分成 4 组，默认分配为 3-2-2-2。四组目标频带从 0 到 1 kHz、1 到 4 kHz、4 到 10 kHz、10 到 22 kHz 递进。每组重建时使用当前组以及更低频组的累积 latent，所以高频组在恢复泛音时仍能看到低频基频。

训练损失监督的是每一组带来的增量贡献，而不是把所有频带误差都回传给前面的组。HARP 还使用带可学习中心和带宽的 Gaussian 软频带权重，并用 stop-gradient 限制不同组之间的梯度干扰。推理阶段仍是普通的 RVQ 解码，模型结构和运行流程不变。3

这套设计解决的是两个互相拉扯的问题：码率变低时，前几级应该优先保留听感最敏感的低频和主体结构；码率变高时，后几级又要补回高频和泛音，而不能把它们当成彼此独立的声音。软频带权重让组间过渡不至于变成硬切的频谱边界。

HARP 基于 DAC 结构训练 9 个 codebook，每个 codebook 有 1,024 个条目，44.1 kHz 下满码率约为 7.7 kbps。训练混合了 MUSDB18-HQ、MTG-Jamendo、自建音乐库、AudioSet 和 LibriTTS，测试覆盖音乐、语音和通用音频。论文报告 SI-SDR、KAD、PESQ、STOI 以及 MUSHRA。

在 7.7 kbps 音乐重建上，HARP 的 SI-SDR 为 9.22 dB，DAC 为 8.97 dB；KAD 为 0.29，DAC 为 0.35。把码率降到 2.6 kbps，音乐 SI-SDR 仍是 HARP 4.13 dB、DAC 3.70 dB。差距不算巨大，但它在低码率端更明显，符合论文对分层码本的预期。3

谐波实验使用 500 组基频在 50 到 200 Hz 之间、包含 20 个泛音的合成音。对齐相位条件下，HARP 的 phase coherence 是 0.988，DAC 是 0.967，BSCodec 是 0.914；随机相位条件下，HARP 是 0.986，DAC 是 0.987，BSCodec 降到 0.831。HARP 没有在所有幅度误差设置中胜出，但它避免了并行频带方法在跨频带相位一致性上的明显崩溃。3

主观听测有 12 名参与者，使用 12 个 10 秒样本，分别覆盖音乐、语音和通用音频，在 4.3 和 7.7 kbps 下比较 HARP 与 DAC。MUSHRA 中位数在 4.3 kbps 是 HARP 68、DAC 59，在 7.7 kbps 是 HARP 90、DAC 84。样本和参与者都不多，这些数字适合支持「在该听测条件下更受偏好」，不适合直接推出所有音乐类型都能得到同样幅度的改善。3

在 LibriTTS、7.7 kbps 的 SI-SDR 消融中，完整 HARP 为 10.71 dB；去掉 cumulative decoding 后为 9.3 dB，去掉频带监督、退回 DAC 风格训练后为 9.75 dB；把 Gaussian 软频带换成矩形频带为 10.3 dB，不使用 stop-gradient 为 10.4 dB。按这组结果，累积解码对性能的影响最大，频带监督和软边界提供了额外收益。3

论文原文还写明提供预训练模型、训练脚本和音频样例。它们能帮助复现实验，但不会自动回答 HARP 是否适用于不同的 encoder、不同的 codebook 数量或更长的音乐上下文。现有听测只覆盖 12 个样本，模型也围绕 DAC 结构展开，因此「训练策略可移植」仍是待验证的工程问题。3

SongSQA 把整曲质量拆成时间序列，HARP 把连续音频压缩拆成有频率职责的 codebook 层级。两篇论文的任务不同，却都没有把最终分数或最终波形当成唯一接口：前者让人看到哪一段拖累了整体评价，后者让系统在码率变化时保留什么、补回什么变得更可解释。2 3

这也限定了它们各自值得阅读全文的理由。做歌声评测、录音筛选或人声质量控制的人，应重点看 SongSQA 的伪标签设计和聚合消融，判断时间曲线是否能改善人工复核；做音频生成、codec 或端侧传输的人，应重点看 HARP 的码率表、谐波实验和 cumulative decoding 消融，判断收益究竟来自频带监督还是来自更大的训练预算。两篇论文都给出了可检查的中间表示，但都还没有证明跨数据分布、跨模型结构的稳定泛化。