7月24日 AI音乐 arXiv 深读：全曲生成拆开规划与渲染，歌声伴奏改用离散扩散

2026 年 7 月 24 日的 arXiv cs.SD new 列表里，有两篇直接命中 AI 音乐生成的修订条目：一篇处理歌词、文字到全曲的生成，另一篇处理干声到整段伴奏的生成。它们都在解决长音乐的连续性，却没有回答同一个问题。前者把长期结构交给层级自回归模型，再让 Flow Matching 渲染完整音频；后者把伴奏 codec token 整段遮住、反复修复，试图同时守住对齐和编配。1

如果你的问题是「怎样做一个能生成完整歌曲的系统」，先读 Pushing the Frontier of Full-Song Generation。它给出了较完整的系统拆分，也拿到了 500 条多语种自动评测和独立盲测的竞争性结果，但 instrumental 与 cover song 还没有专门的定量评测。如果你的问题是「一段人声怎样变成不跑拍、能持续编配的伴奏」，LaDA-Band 更直接：它的消融把长程训练、双轨表示和非自回归去噪分别拆开了，但主观听测只有 20 个样本、17 名参与者，且系统依赖源分离和音频 codec。23

长歌生成的麻烦不在于多生成几秒音频。模型需要同时记住主歌到副歌的结构、维持人声或旋律的时间关系，还要在高频细节上不糊。把短片段分块生成再拼接，常常会把这三件事拆散；单向 token 生成则可能把早期的小错一路带到后面的段落。

两篇论文给了两种不同的处理方式。2607.20253 先做「计划」：用离散 token 组织整首歌，再用连续渲染器补齐声学细节。2604.11052 直接做「修复」：在整段伴奏 token 上进行双向去噪，让已经生成的部分和未生成的部分互相提供上下文。这个对照比「谁的总分更高」更值得看，因为两篇论文的输入、输出和评测任务并不相同。

这篇论文的目标是把三类任务放进同一套系统：带歌词和文字描述的全曲生成、无主唱的器乐生成，以及保留参考旋律的翻唱。论文 v1 于 2026 年 7 月 22 日提交，v2 于 7 月 23 日修订；7 月 24 日的 cs.SD new 列表把它列在 replacement submissions 中。12

作者面对的是一个表示层面的取舍：单一 codebook 很难同时装下歌曲结构、演唱、人声与乐器细节；codebook 越多，音频更完整，但预测也更难。论文的做法不是让一个模型从头到尾承担所有工作，而是把离散规划、旋律条件和连续声学渲染分开。

第一层是 semantic-aware RVQ tokenizer。它用 24 层 Conformer 编码器和 8 个 codebook，每个 codebook 有 8,192 个条目，帧率为 25 Hz。训练分三步走：先做 BEST-RQ 风格预训练，再用 ASR、重建和 chroma prediction 做多任务微调，最后加入 RVQ 训练 tokenization。这样的表示既给语言模型一个离散接口，也保留了重建音频所需的细节。2

第二层是 hybrid-LM。8B 的 global LLM 每个音频帧只预测第一个 codebook，负责旋律推进、节奏连续性、歌词进展和段落转换；0.4B 的 local LLM 在当前帧内依次补齐其余 7 个 residual codebook。前者沿时间轴建模，后者沿 codebook 轴补细节。论文把这套结构用于最长约 5 分钟的完整歌曲生成，避免把 8 个 codebook 全部摊平成一条极长序列。

第三层是 8B 的 FullDiT。它接收整段 8-codebook token、歌词和文字描述，在连续 VAE latent 中做 non-causal flow matching，最后解码成 48 kHz 立体声。文中给出的处理上限是 8,192 帧，也就是 25 Hz 下的 327.68 秒。这里的角色很明确：hybrid-LM 先确定音乐内容和结构，FullDiT 再在全曲上下文里还原更细的声学质感。2

FullDiT 还加入了 Error-Matched Distractor Conditioning。训练时，作者按上游 hybrid-LM 各 codebook 的 top-1 准确率制造近似错误的 token，保持目标声学 latent 不变，让渲染器学会面对并不完美的上游规划。这一点比「把一个完美 token 序列交给渲染器」更接近真实推理链路。

翻唱任务另走一条条件路径。系统先从参考音频中分离人声，再提取 MIDI 级的音符序列和帧级 F0，分别作为粗粒度和细粒度旋律 token。这样做的目的不是只保留音高轮廓，也要给演唱中的局部滑音和音高变化留下位置。论文没有把这套旋律模块的结果与前两类任务混成同一项指标。

作者在 500 条样本上做多语种自动评测，样本平衡于 8 个主要流派和 5 种语言。18 个报告维度里，系统在 15 个维度取得最高点估计：SongBench 的 7 个维度中占 5 个，SongEval 的 5 个维度全部最高，AudioBox-Aesthetic 的 4 个维度全部最高，CMI-Reward 则拿到 Quality 最高。它没有在 Vocal、Structure 和 CMI-Reward Alignment 上拿到第一：Vocal 以 7.6234 略低于 Mureka V8 的 7.6248，Structure 低于 Lyria 3 Pro 的 7.0565，Alignment 低于 Mureka V8 的 2.3089。2

这个结果可以支持「在人声全曲生成的受测条件下，系统在多数自动维度有竞争力」，不能直接支持「三类任务都已经被同等验证」。论文明确说，器乐生成和翻唱生成的专门定量评测仍是 future work。对读者来说，这个缺口会改变阅读顺序：想研究歌词到歌曲，可以把结果表和 FullDiT 消融一起看；想研究 cover，方法章节比结果章节更有用。

外部盲测给了另一种证据。系统以 Lucky Dolphin 的匿名名称参加 Artificial Analysis Music with Vocals leaderboard，得到 1,129 Elo，2,105 个评测样本，官方排名区间为 2–3。论文报告它的点估计只比 Mureka V8 低 12 Elo，双方 95% 置信区间分别是 [1,116, 1,144] 和 [1,134, 1,150]，区间重叠。更稳妥的读法是：在这份 leaderboard 的盲听条件和时间点上，它与第二名处于同一领先层级；不能把这个排名外推到器乐、翻唱或所有音乐风格。2

做 text-to-song、全曲 token 规划、音频生成系统串联的人，值得读这篇的 Method 和 Results。最应该关注的不是「8B」这个数字本身，而是它怎样把全局音乐计划交给 global branch，再把声学细节交给 FullDiT，并用 EMDC 处理上游 token 错误。做 instrumental 或 cover 的人也应读，但要把论文对这些任务的支持声明和已经完成的定量证据分开。

LaDA-Band 处理的是另一种更窄、也更难对齐的输入：给定一条原始人声，生成从前奏到尾奏的完整伴奏。作者把目标拆成三个维度：音色与细节要像真实伴奏，伴奏要和人声保持微观时间同步，编配还要随着整首歌推进而变化。论文 v1 于 2026 年 4 月 13 日提交，v2 于 7 月 23 日修订，7 月 24 日 new 列表把它列为 replacement submission；代码和音频样例链接在论文原文中。13

它针对的是两条旧路线的缺点。离散自回归模型有较好的局部声学细节，却容易在长序列里累积误差；连续 latent 模型较容易拉长上下文，却可能把密集伴奏做得发糊。LaDA-Band 不在两者之间折中，而是把伴奏建模成 discrete masked diffusion：先把伴奏 token 大量遮住，再用双向上下文多轮填回，低置信度位置会在下一轮重新遮住。

模型使用 LLaMA-3.2-1B 配置的 Mask Predictor，放大实验使用 3B 版本。每个时间位置同时放入 vocal token 和 accompaniment token，各占隐藏维度的一半，形成 dual-track representation；文字或参考音频通过冻结的 CLaMP3 编成很短的 prefix，只提供风格、乐器和情绪等全局条件。人声不是被压缩成一个开头提示，而是贯穿整段序列，和伴奏 token 一起进入双向注意力。3

训练目标有两部分。Conditional masked modeling 负责把被遮住的伴奏 token 恢复出来；Replaced Token Detection 则在整段序列上判断 token 是否合理，专门补前奏、间奏这类人声约束很弱的区域。推理时从全遮住的伴奏开始，根据置信度保留一部分 token，其余重新遮住，直到整段伴奏收敛。

训练也分阶段。Stage 1 用 40.96 秒片段学局部人声与伴奏的时间关系，Stage 2 扩展到 163.84 秒并做高质量筛选，再面向长歌微调。论文使用 MuCodec 把 48 kHz 音频编码到 25 Hz 的离散 token；训练阶段汇总的语料约 100k 小时，Suno70k 和 IHP 组成的评测/适配数据约 140k 个样本、约 10k 小时。训练使用 8 张 A800 80G GPU。3

在 Suno70k 的 full-song 比较中，单张 40GB A100 上，LaDA-Band-3.0B 的 Onset F1 为 82.0，HPCP similarity 为 94.8，FAD 为 22.70，CLaMP 为 14.83，表格报告的 RTF 为 0.26。对应的 SongEcho-3.6B 是 67.0、94.5、45.90 和 10.20，RTF 为 0.31。这里的 RTF 是 real-time factor，越低表示生成速度越快；这些数字说明论文的主张集中在「长序列对齐、分布接近度和条件匹配同时改善」，不是单独追求某一个音质分数。3

zero-shot 结果更能检验它是否真的依赖参考条件。在 IHP real-world 数据上，只有文本条件时，LaDA-Band 的 Onset F1 为 67.1、HPCP 为 94.8、FAD 为 32.5；SongEcho 在相同 text-only 条件下分别为 40.8、91.3 和 68.1。Suno70k 上，LaDA-Band text-only 的 Onset F1 为 60.5，FAD 为 22.7。这个结果支持「模型在没有辅助参考音频时仍能保持对齐」的较窄判断，但 IHP 是论文自己的 real-world 数据设置，不能自动等同于所有真实制作场景。3

消融实验把机制拆得更清楚。完整模型的 Onset F1 / FAD / CLaMP 是 82.0 / 22.70 / 14.83；去掉 Stage 2 长上下文训练后变成 78.4 / 25.87 / 11.86；换成 continuous latent 是 71.4 / 38.65 / 10.20；换成 AR decoding 后，Onset F1 只剩 14.2，CLaMP 变成 2.12；把 dual-track 改成 single-stream 后，Onset F1 为 28.7，CLaMP 为 4.55；去掉 RTD 后，Onset F1 为 76.5，FAD 为 25.21。这个表说明，结果不是由「扩到 3B」单独解释的：NAR 形式和双轨输入直接关系到时间对齐，Stage 2 关系到长程编配，RTD 主要补人声稀疏处的伴奏密度。3

双盲 MOS 只有 20 个 Suno70k 测试样本和 17 名参与者，其中 7 名专业人士、10 名非专业人士。LaDA-Band 的 AQ、MA、ON 和 Overall 分别为 3.338、3.367、3.483 和 3.396，SongEcho 的 Overall 为 3.221；原文还给出了各项 95% 置信区间。这个听测能补上自动指标没有覆盖的听感，但样本量很小，且作者指出 jazz、funk 是主要失败风格，不能把分数当成跨风格结论。3

论文中存在一个需要读者自己标出的数字矛盾：表 1 的 LaDA-Band RTF 是 0.26，正文另一处写成 0.12。两者都在同一版原文中出现，文章没有解释条件差异。这里采用表格里的 0.26，因为它和整张基线对比表使用同一评测条件；阅读代码或复现实验时，应把 0.12 当成待核对项，而不是直接引用。

LaDA-Band 还依赖 source separation 和 codec pipeline，上游分离错误会进入训练和推理；对 instrument-level editing 这类细粒度编配控制也有限。它的优势更像是「在给定人声、较弱全局条件下把整段伴奏做得可对齐」，不是已经解决了制作人的逐轨编辑工作流。3

做 vocal-conditioned generation、音乐源分离后的生成、离散音频 token 或长序列对齐的人，应优先读 LaDA-Band 的实验和消融。尤其要看去掉 NAR、dual-track、Stage 2 后的跌幅，这些结果比「全面优于基线」更能说明方法依赖什么。做真实制作工具的人则应把 source separation、codec 误差和 instrument-level editing 的限制放在结论旁边一起读。

两篇论文不能用同一把尺子排总名次。2607.20253 的强项是完整系统：从结构化歌词和音乐描述，到 8-codebook 规划、FullDiT 渲染、旋律条件和外部盲测，适合回答「全曲生成系统怎样组织」。它的弱点是任务覆盖不均，器乐和翻唱还停留在方法支持与未来评测之间。

2604.11052 的强项是问题更聚焦，指标也更贴近 V2A：Onset F1 看微观对齐，HPCP 看谐波关系，RTD 和消融解释前奏、间奏为何会变空。它的弱点是听测规模小，数据和上游处理链条很重，RTF 还有 0.26 与 0.12 的原文冲突。

因此，做歌词到歌曲或生成系统架构，先读 2607.20253；做歌声到伴奏、zero-shot 对齐或离散扩散，先读 2604.11052；研究长音乐评测，则两篇都读，并把自动指标、独立盲测和小规模 MOS 分开判断。