https://arxiv.org/pdf/2102.06171.pdf
NFNet这篇论文的内容很多，和他的前作(https://arxiv.org/pdf/2101.08692.pdf)一起
针对BN的作用提出了一系列方法来替代BN，以避免了它的一些弊端。然后作者又基于 SE-ResNeXt-D 和这些方法调整了一个新的模型屠了榜。
为什么要替代BN？ BN的缺点
BN是在15年提出的，因为它可以很有效的帮助快速，稳定进行训练，后来几乎成了深度神经网络的标配。
李宏毅：BV1bx411V798 推荐一下这个讲解BN的视频。不过里面使用的关于covariant shift 的解释现在被证明关系不大了，虽然BN的原作者就是这么解释的。有兴趣可以看看这篇论文。
How does batch normalization help optimization? 【2】
（https://arxiv.org/pdf/1805.11604.pdf）
这里回顾一下BN的算法，就是计算隐藏层单元激活值的均值和方差，然后归一化使得均值为0，方差为1，然后再引入两个可训练参数γ和β进行缩放和偏移。 这个乍一看有点多此一举，但是μ和σ是关于当前隐藏层单元激活值的，它们由当前batch的输入和当前的参数决定，而γ和β则是模型对于归一化（均值为零，方差为1）之后的激活值通过学习得到的。我的理解是，如果把归一化的特征直接送去非对称的激活函数比如ReLU，那可能会丢失很多信息，数据的分布会偏移到正值，但是，这个是损失函数的不对称导致，而γ和β就是用来在激活之前学习一个更有利的偏移和缩放。
BN的效果有目共睹，但是存在一些缺点，NFNet列出三个主要的：
- 增加计算量，均值和方差，因为反向传播还要记住一些结果，导致内存开销过大.
- 训练和测试时的模型差异。因为批量归一化处理的是隐藏单元的激活值，而参数不断更新会导致激活值均值和方差也不断变化，最后测试时一般选用一些平均的参数。
- 打破了minibatch里的训练样本的独立性。这一点比较严重，对于分布式训练很麻烦 ，对于某些模型比如对比学习方法，还需要进行特别处理（参考MoCo中shuffling batch）。
Batch size 要更大才能更接近整个数据集中真实的均值, NFNet在前作中曾经做过实验， batch size 小的时候，表现更好，但是当batch size大的时候，使用BN的模型表现更好。
优点和逐个替代
现在来看看NFNet论文中列出的BN的四点主要优点：
- 首先现在BN一般是和残差连接结合使用，缩小了残差分支的激活值，让训练在早期得以顺利进行。
这一点作者通过引入参数α和β来缩放参数达到目的，称使训练更稳定。
- Batch normalization eliminates mean-shift。
很多像ReLU这样的函数，只会保留正值，BN就消除了由激活函数引起的这种均值偏移。
均值偏移问题，作者用对参数重新标准化进行。
- 正则化效果。
这个就有点祸兮福之所倚的感觉，因为每个Batch的均值和方差相比整个数据集是不同的，batch越小，噪声越大，那我们一般是希望让batch更大一点，噪声小一些，不过这些噪声的作用又一定程度上对模型进行了正则化。
作者使用了dropout和Stochastic Depth。dropout 大家应该熟悉，就是随机忽略一些单元，而随机深度就是随机忽略一些层，反正后来的模型也都很深了。
- 高效的large-batch训练。
这个就是来源于上面文献2推翻了BN原作者的观点，直观一点理解就是， 顺滑了 loss landscape，BN使得损失变化得更小，梯度的幅值也更小（更加满足利普希茨条件）。使得梯度下降优化更加容易，使用更大的学习率也能稳定进行训练。这篇论文提供了理论证明，得到了如下结论，但是最好去看原文，我的理解可能有误。
- 顺滑了loss的曲面，使得下降的过程更加平稳。
- 使用BN后的重新缩放会保留所有的最优值。
- BN Loss的利普西茨性质使得对于任何初始参数值，更容易达到最优点。
总之就是更快更稳地训练。
Adaptive Gradient Clipping 非常简单，就是如果反向传播得到的梯度太大了，那就梯度不变。因为这种剧烈的变化往往是导致不稳定的因素。而这个系数同时取决于梯度的大小和梯度作用的参数的大小。 不过AGC也不要总是在每一层使用，具体可以去参考原文。
作者在附录中还给出了很多实验细节和详细的解释，有需要的话可以参考。
BN的应用集合：
模型细节
基于SE-ResNeXt-D，
输入图片归一化处理，
在stem部分每一层卷积之后非线性激活，
重要的是在stem最后一层卷积之后没有激活。
激活函数使用GELU， 但是ReLU和SiLU效果差不读，
使用 Squeeze & Excite ，
