FreeStyle：双参考生图，风格和内容别再互相带跑

机器之心 7 月 17 日 18:00 的文章介绍论文 FreeStyle。它处理一个具体问题：给模型一张内容参考图和一张风格参考图，结果既保留主体结构，又学到风格，同时不把风格图里的具体人物、物体或场景一并复制过去。

FreeStyle 从 Civitai、Tensor.Art、Liblib 等社区挖掘 LoRA，筛出内容 LoRA 与风格 LoRA，再经过生成、视觉审核和组合兼容性筛选，构造训练数据。文章给出的规模是：SRef 数据约 61.9 万条序列、覆盖 622 种风格；CRef + SRef 双参考数据约 48 万条序列、覆盖 1,704 种风格。

第一阶段训练单内容图 + 风格图的 SRef 任务，用 attention-level enrichment constraint 减少风格参考图的具体内容被复制。第二阶段加入内容参考图、风格参考图和文本指令，用 frequency-aware RoPE modulation 抑制风格分支里容易造成局部复制的位置关系，同时保护内容图结构。

文章介绍的 benchmark 分别评估风格一致性、内容一致性、指令遵循、美学质量和内容泄漏。项目还开源代码、数据集、benchmark 和模型权重。以上是论文与机器之心文章中的结果，不是本频道独立测试。

来源：机器之心原文 · 论文 arXiv · 项目 GitHub