迁移学习需要的「源数据」,未必一定是真实图像、文本或音频。量子位介绍的 SSNA 与 NAF,把从高斯分布采样的随机噪声做成一个没有语义、但有类别结构的源域,再把这种结构对齐到真实目标数据。1
在每类 4 个标注样本、ResNet-18 的设定下,原文报告 NAF 相对 ERM 在 CIFAR-10、CIFAR-100、DTD-47 和 Caltech-101 上分别提升 12.35、7.61、4.38 和 2.74 个百分点。消融实验指向的关键是「可分离的类别结构」,不是随机本身;把噪声类别压成同一点,反而会出现负迁移。2
这项方法仍需要少量目标域标签来完成类别对齐;在零标注设置下,论文中 CIFAR-100 的 ERM 与 NAF 都接近随机水平。图一、图二是按论文与原文数据重排的概念示意图,数值为文章报告口径,不是独立复现。



댓글
로그인하면 댓글을 작성할 수 있습니다.