7 月 15 日 AI 音乐 arXiv 深读：谱面评测与实时增强的两个误区

本期覆盖 arXiv 在 2026 年 7 月 15 日显示的 cs.SD（Sound）与 eess.AS（Audio and Speech Processing）新列表。两个列表分别显示 22 条和 13 条记录；按频道范围筛掉纯语音、通用音频和与音乐创作或音乐理解没有直接关系的条目后，留下两篇：一篇讨论节奏游戏谱面生成如何评测，另一篇讨论音乐增强在实时约束下是否真的有效。1 2

这里有一个日期口径需要先说清。两篇论文的详情页都把 v1 标为 2026 年 7 月 14 日提交；按本频道时区换算，ChartGenEval 的提交记录是 7 月 14 日 23:08，实时音乐增强论文是 23:22。它们随后出现在 7 月 15 日的新列表中。3 4

节奏游戏谱面生成有一个容易被忽略的前提：同一首歌、同一个难度，并不只有一套合理的音符安排。如果拿生成谱面和官方谱面逐个音符比对，测到的主要是重建能力，不能充分反映谱面设计是否可玩、是否贴合歌曲、是否出现重复或密度失控。ChartGenEval 的做法是把官方谱面只当作时间参照，保留它的 authored timing map，不把官方 note sequence 当成唯一目标。3

这使问题从「生成结果和标准答案有多像」变成「一个指标是否真的会对它应该发现的错误产生反应」。这个改动看似只是换了一种评测方式，实际上决定了生成模型之后会被优化成什么样。

论文提出一个六问式框架，覆盖时间、音符序列、重复与形式、对音乐的响应、人类谱面距离，以及难度和可行性边界。自动评测核心不把这些维度压成一个总分，而是保留不同输出轴的角色：有的适合作为优化目标，有的适合作为约束，有的只适合监控。5

核心轴包括三类 timing 读数，以及 transition familiarity、4-gram typicality、note-rate typicality 和 density-spike limit。它们分别回答几个很具体的问题：音符是否落在允许的时间格上，局部模式是否过于陌生或过度重复，音符速率是否偏离同难度的人类谱面，以及是否出现局部密度尖峰。

关键不在于指标名称多，而在于论文给每个指标设计了对应的「故障注入」：抖动音符时间应该影响 timing clean rate，整张谱面平移应该影响 phase offset，打乱音符类型应该影响 transition familiarity，循环塌缩应该影响 4-gram typicality，插入密集 burst 则应该影响 density-spike limit。作者还同时检查不相关的指标是否保持不变，避免一个扰动把所有分数都搅乱。5

数据来自 Taiko 风格的社区谱面与对应音频。论文使用 3,880 张谱面做训练和校准，开发集包含 40 个 song groups、170 张谱面，held-out 测试集包含 80 个 song groups、333 张谱面。统计单位是 song，而不是单张谱面或某次扰动的复制品。5

评测的主体是 dose-controlled corruption。论文测试了时间抖动、稀疏的大时间误差、整张谱面平移、音符类型打乱、循环塌缩、常见模式重写、音符速率缩放、局部 burst 插入和小节顺序打乱等失败模式。这样做的价值是把「这个指标看起来合理」换成「这个指标在可控失败上确实按预期变化」。

在 80 个 held-out song groups 上，7 个核心输出轴通过了预设的敏感性与不变性标准，覆盖 9 个非冗余测试。整张谱面注入 15、30、60 毫秒的平移时，chart-only 输出基本保持不变，而 chart-wide phase estimate 能恢复这种偏移。3

更值得留意的是两个反例。常见模式重写后，语言模型 perplexity 平均下降 37%，从 9.44 降到 5.98；循环塌缩后，self-similarity 平均上升 62%。如果直接把 perplexity 越低或 self-similarity 越高当成「质量更好」，优化器会被鼓励去制造更模板化、更重复的谱面。论文因此拒绝给出一个总分，而要求把指标放回各自的故障语境中解释。3 5

第一，控制扰动证明的是局部诊断能力，不等于指标能对真实生成结果做通用质量排序。论文没有覆盖错误配歌、删除关键音符等所有失败类型。第二，timing 评测需要外部 grid；timing clean rate 也没有 reference-note recall，删除不在格点上的音符反而可能让分数变好，所以它必须和 note-rate、可行性检查一起使用。第三，人类谱面分布来自单一 Taiko 语料，跨游戏、跨谱面体系的有效性还没有被验证。5

这篇论文适合做节奏游戏生成、符号音乐生成或生成式评测的人先读。它没有提出一个更大的生成模型，却把一个更实际的问题摆到了台面上：你准备用什么分数训练模型，模型就会学着讨好什么分数。

第二篇论文研究的是实时音乐增强。目标不是把音乐拆成若干音轨，而是从噪声、混响、频谱失衡、削波、动态处理或立体声变化造成的退化中，恢复「原本想保留的制作完成混音」。因果约束要求当前输出只能依赖当前帧和过去帧，不能使用未来信息。4

音乐增强比语音增强更难，原因在于音乐同时包含重叠声源、宽频带、强动态和有意加入的制作效果。把所有异常都当噪声处理，很容易把编曲、空间感或音色身份一起抹掉。

论文比较了 CRN、DeepFilterNet、换用 mel 表示的 DFN-MEL、音乐特化的 MFN-MS、外部音乐去噪模型 MusicECAN，以及离线、非因果的 SonicMaster。MFN-MS 加入绝对频率编码、因果局部时频编码器、gated deep filtering、平滑 equalization 和 gain heads、轻量 waveform refiner，以及多级 complex residual refinement。SonicMaster 作为离线参考，不是实时竞争者。6

所有因果模型都在 44.1 kHz 下以流式 STFT 处理，使用 1,024-sample analysis window、512-sample hop 和 batch size 1。由此带来的算法延迟是 23.2 毫秒。训练采用三阶段流程：先做多分辨率频谱重建，再加入对抗细化，最后用 waveform、频谱、log-mel、瞬时频率和增益一致性等音乐相关损失做微调。论文强调，贡献不在于宣称某一项损失全新，而在于将这些目标分阶段组合到实时音乐任务里。6

主要评测包含两个方向。SonicMaster 数据集有 168,000 对 clean-degraded 音频，覆盖 10 个 genre groups；每首 clean track 有 7 个退化版本，退化类型共 19 种，分为 EQ、dynamics、reverb、amplitude 和 stereo 五类。测试部分取 1,000 首歌、7,000 个退化样本。M&N 数据集则包含音乐和噪声的配对测试样本，本地 paired test split 有 123 个例子。6

论文同时报告 FAD、KL、MM-SNR、SI-SNR、SSIM、PQ 和 ZIM 等指标。它没有把这些分数强行合并，因为它们衡量的是不同层面的东西：有的偏向波形保真，有的偏向频谱或嵌入空间，有的更接近制作质量。

在测试 GPU 上，4 个因果模型处理一个 23.2 毫秒 block 只需 2.46 至 2.65 毫秒，实时因子为 0.106 至 0.114，全部快于实时。这个结果说明严格因果的音乐增强已经具备流式运行的计算条件。6

但速度不是论文最重要的结论。没有任何一个模型在所有数据集、所有退化类型和所有指标上稳定胜出。CRN 在部分 M&N 和 SonicMaster 的 MM-SNR、SI-SNR 上更强；MusicECAN 在 M&N 的多个指标上更占优，这与它主要面向去噪的训练目标一致；MFN-MS 在 SonicMaster 上改善了部分 KL、SSIM，但在其他信号保真指标上可能退步。离线 SonicMaster 在 SonicMaster 的 FAD 和 KL 上表现最好，却不代表它适合实时场景。4 6

产品上最实用的一句结论是：always-on enhancement 可能比退化输入更差。论文还发现 CPU 侧的表现并不均匀，尤其 CRN 的可靠 CPU-only 部署仍需要 kernel 优化；MFN-MS 在立体声退化上的负向变化也最大。也就是说，「能在 GPU 上低于实时因子运行」离端侧产品的可用性还有一段距离。6

论文没有正式的主观听感实验，作者明确把主观评测留作后续工作，也没有声称任何单一客观指标能够预测听众偏好。当前结果还受数据集、退化类型和指标家族影响；波形、频谱、嵌入和制作质量指标之间可能互相冲突。作者给出的方向是 degradation-aware routing、stereo-aware processing，以及在模型不确定时保留原信号的 identity-preserving fallback。6

这篇论文适合做音乐播放器、直播链路、音频插件和端侧音频推理的人阅读。它没有把「实时」当成最终卖点，而是把实时约束、音色身份和评测冲突放在同一个实验框架里。

两篇论文研究的对象不同，方法却有同一个落点。ChartGenEval 先用人为注入的失败检查指标是否测到了目标属性；实时增强论文则展示了不同指标会把模型推向不同方向，甚至会把错误的增强判成改善。两篇论文都在提醒一件具体的事：单一代理分数既不能代表谱面质量，也不能代表音乐听感。

对于 AI 音乐系统，下一步应当是把评测拆成可解释的故障轴，并为每个轴写清适用条件。谱面生成要区分时间合法性、重复、密度和音乐响应；音频增强要区分噪声抑制、混音身份、立体声结构和主观听感。否则，模型很容易在表格里赢下一项，却在真实音乐里留下更明显的问题。