正则化和数据增强对模型的影响并不总是好的:The Effects of Regularization and Data Augmentation are Class Dependent
正则化是一种基本技术,通过限制模型的复杂性来防止过度拟合并提高泛化性能。目前的深度网络严重依赖正则化器,如数据增强(DA)或权重衰减,并采用结构风险最小化,即交叉验证,以选择最佳的正则化超参数。然而,正则化和数据增强对模型的影响也不一定总是好的。来自Meta AI研究人员最新的论文发现,正则化是否有效与类别高度相关。
下图就是一个例子,当模型使用了某些正则化技术之后(例如DA),不同类别最优结果对应的模型复杂度是不一样的。也就是说,虽然在大多数类别上表现很好,但是依然有一些类别表现很糟糕。

在这项研究中,作者证明了DA或权重衰减等技术产生了一个复杂度降低的模型,该模型在不同类别中表现不同。从交叉验证中发现的最佳DA或权重衰减量在某些类别上会导致灾难性的模型表现,例如,在Imagenet的resnet50上,仅通过在训练期间引入随机的DA,”谷仓蜘蛛 “的分类测试精度就从68%下降到46%。更令人惊讶的是,这种性能下降也出现在引入无信息的正则化技术,如权重衰减。这些结果表明,我们对不断提高泛化性能的追求—在所有类别和样本上的平均值—使我们的模型和正则化器在某些类别上默默地牺牲了性能。这种情况在将模型部署到下游任务时可能变得很危险,例如,在Imagenet预训练阶段引入随机DA时,部署在INaturalist上的Imagenet预训练resnet50在类#8889上的表现从70%下降到30%。这些结果表明,设计没有类别依赖性偏差的新型正则器是一个非常重要的问题。
arXiv原文:https://arxiv.org/abs/2204.03632
欢迎大家关注DataLearner官方微信,接受最新的AI技术推送
