登录
注册
原创博客
(current)
算法案例
(current)
期刊会议
学术世界
领域期刊
SCI/SCIE/SSCI/EI简介
期刊列表
会议列表
所有期刊分区
学术期刊信息检索
JCR期刊分区查询
CiteScore期刊分区查询
中科院期刊分区查询
领域期刊分区
管理 - UTD24期刊列表
管理 - AJG（ABS）期刊星级查询
管理 - FMS推荐期刊列表
计算机 - CCF推荐期刊会议列表
高校期刊分区
南大核心（CSSCI）
合工大小核心
合工大大核心
AI资源仓库
AI论文快讯
AI预训练模型
AI数据集
AI开源工具
数据推荐
价值评估
数据集评分
AI工具评分
论文评分
专利列表
专利检索
科技大数据评估系统
网址导航
我的网址导航
程序员必备网站
正则化和数据增强对模型的影响并不总是好的：The Effects of Regularization and Data Augmentation are Class Dependent
标签：
#论文快讯#
时间：2022/04/11 22:52:18
作者：小木
正则化是一种基本技术，通过限制模型的复杂性来防止过度拟合并提高泛化性能。目前的深度网络严重依赖正则化器，如数据增强（DA）或权重衰减，并采用结构风险最小化，即交叉验证，以选择最佳的正则化超参数。然而，正则化和数据增强对模型的影响也不一定总是好的。来自Meta AI研究人员最新的论文发现，正则化是否有效与类别高度相关。 下图就是一个例子，当模型使用了某些正则化技术之后（例如DA），不同类别最优结果对应的模型复杂度是不一样的。也就是说，虽然在大多数类别上表现很好，但是依然有一些类别表现很糟糕。 <center></center> <center></center> 在这项研究中，作者证明了DA或权重衰减等技术产生了一个复杂度降低的模型，该模型在不同类别中表现不同。从交叉验证中发现的最佳DA或权重衰减量在某些类别上会导致灾难性的模型表现，例如，在Imagenet的resnet50上，仅通过在训练期间引入随机的DA，"谷仓蜘蛛 "的分类测试精度就从68%下降到46%。更令人惊讶的是，这种性能下降也出现在引入无信息的正则化技术，如权重衰减。这些结果表明，我们对不断提高泛化性能的追求--在所有类别和样本上的平均值--使我们的模型和正则化器在某些类别上默默地牺牲了性能。这种情况在将模型部署到下游任务时可能变得很危险，例如，在Imagenet预训练阶段引入随机DA时，部署在INaturalist上的Imagenet预训练resnet50在类#8889上的表现从70%下降到30%。这些结果表明，设计没有类别依赖性偏差的新型正则器是一个非常重要的问题。 arXiv原文：https://arxiv.org/abs/2204.03632
相关博客
最热博客