【噪声助力迁移学习新成果】迁移学习里的 源数据未必非得是图像、文本或音频。一组从高斯分布里随机采样出来、没有任何语义的噪声也能帮助模型在少量标注下学得更好。这项工作名为半监督噪声自适应Semi - Supervised Noise AdaptationSSNA论文已发表于ICML 2026。【噪声自适应框架NAF】SSNA团队进一步提出噪声自适应框架Noise Adaptation Framework, NAF它利用随机生成的噪声构造出具有判别性的类别结构并将这种结构迁移到真实目标数据上从而提升模型在少量标注场景下的学习效果。NAF把噪声域和目标域投影到共享表征空间并在类别层面进行对齐。【实验效果显著】在每类仅有4个标注样本的情况下基于ResNet - 18骨干网络NAF在CIFAR - 10、CIFAR - 100、DTD - 47和Caltech - 101上的准确率相比仅使用有标注样本训练的标准监督学习基线ERM 经验风险最小化Empirical Risk Minimization分别提升了12.35、7.61、4.38和2.74个百分点。目前论文源码已开源。【把真实源域换成噪声】传统迁移学习通常需要一个标签丰富的源域但真实源数据并不总是容易获得。隐私、保密和版权限制都可能让源域数据无法共享。SSNA试图把这个前提拿掉源域不再放真实样本而是换成从简单概率分布中生成的噪声。具体做法是假设目标任务包含C个类别研究团队首先在1024维空间中为每个类别随机采样一个均值向量并以单位矩阵作为协方差由此构造C个高斯分布再从每个分布中采样50个噪声向量。噪声域与目标域使用相同的类别索引集合每个噪声类别预先对应一个目标类别索引但这种对应本身不包含语义信息。真正被迁移的是噪声域中形成的判别结构。只要这套结构能够和目标域对齐它就能为真实目标样本提供更清楚的分类边界。【少量标签仍然是必要的】噪声可以替代真实源数据但不能完全替代目标域标签。因为噪声来自另一个空间类别编号又是人为指定的模型必须借助少量已标注目标样本才能知道噪声类0究竟该和哪个真实类别对齐。论文在CIFAR - 100上把每类标注样本降到0时ERM和NAF的准确率分别只有0.97%和1.34%都接近随机水平。一旦提供少量标注NAF便持续超过ERM。因此在半监督分类设定中真实源域未必是实现正迁移的必要条件。【NAF主要做了三件事】围绕论文给出的泛化上界NAF把训练目标拆成三部分。一是先学好少量真实标签目标域编码器把真实样本映射到共享表征空间分类器使用少量标注样本计算交叉熵损失用来建立噪声类和真实类别之间的桥梁。二是再让噪声形成清楚的类别结构噪声投影器负责把随机向量映射到同一个表征空间分类器则按照预设类别编号识别这些噪声。训练之后同类噪声逐渐聚拢不同类噪声彼此分离。三是最后把两边对齐NAF会计算噪声域和目标域之间的分布差异采用负域相似度Negative Domain SimilarityNDS作为默认机制。整套目标可写成特定形式论文给出的泛化上界也对应三项目标域经验误差、噪声域经验误差以及两域在共享表征空间中的分布差异。【从CIFAR到ImageNet噪声都能带来增益】主实验覆盖8个视觉数据集和1个文本分类数据集。除ImageNet - 1K外视觉任务均采用每类4个标注样本其余训练样本作为无标注数据。在ResNet - 18上NAF相较ERM的Top - 1提升分别达到CIFAR - 10 12.35 、CIFAR - 100 7.61 、DTD - 47 4.38 、Caltech - 101 2.74个百分点。在细粒度分类上同样有效。在更大规模的ImageNet - 1K上研究团队为每类保留100个标注样本NAF达到37.10%准确率比ERM高0.99个百分点。文本任务AG News - 4上使用BERT的NAF达到82.82%比ERM的78.64%高4.18个百分点。NAF也可以直接插入现有半监督方法接入后整体都获得了增益。【真正有用的不是“随机”而是结构】噪声为什么能帮忙论文的消融实验把答案指向了同一个因素类别之间是否具有可分离的结构。团队把所有类别的噪声都压成同一个点时噪声域彻底失去判别结构NAF不但没有增益反而出现明显负迁移。相反当逐步拉大噪声类别中心之间的距离时准确率提高。这说明噪声类越容易区分能够提供的结构引导通常越强。噪声数量反倒没有那么关键只要能形成可分离模式少量噪声就足以发挥作用。在Amazon到Caltech - 10的迁移实验中真实源数据整体仍略胜一筹但噪声源域已经能把准确率从ERM的83.51%提升到约88%至89%合成噪声可以成为一种成本很低的替代方案。它也不同于常见数据增强。【总结没有语义结构依然可以迁移】这项工作为迁移学习提供了一个颇具反常识的新视角源数据能够帮助目标任务未必完全依赖其真实语义表征空间中形成的类别结构同样可能成为可迁移的知识。NAF利用随机噪声在共享表征空间中形成具有判别性的结构再借助少量标注样本将其传递给真实数据。实验结果表明即使源域不包含真实图像、文本或音频只要保留合适的类别结构依然可能对目标任务产生正向作用。换句话说迁移学习所迁移的或许不只是“数据讲了什么”还包括“数据在表征空间中如何组织”这也为隐私受限、版权敏感或真实源数据难以获取的场景提供了一条新的研究思路。