Batch Normalization应该在激活函数之前使用还是激活函数之后使用?

Batch Normalization(BN)是深度学习领域最重要的技巧之一,最早由Google的研究人员提出。这个技术可以大大提高深度学习网络的收敛速度。简单来说,BN就是将每一层网络进行归一化,就可以提高整个网络的训练速度,并打乱训练数据,提升精度。但是,BN的使用可以在很多地方,很多人最大的困惑是放在激活函数之前还是激活函数之后使用,著名机器学习领域的博主Santiago总结了这部分需要注意的内容。

小木 495 BatchNormalization/深度学习/激活函数
深度学习基础——激活函数以及什么时候该使用激活函数

这篇博客是来自Analytics Vidhya的一篇文章。写的很不错。

小木 19119 深度学习/激活函数