MEAL V2: Boosting Vanilla ResNet-50 to 80%+ Top-1 Accuracy on ImageNet without Tricks∗
原文链接：https://arxiv.org/pdf/2009.08453v1.pdf
代码：https://github.com/szq0214/MEAL-V2
简介
作者提出了一种非常简单高效的提升ResNet网络性能的方案。即：多老师版的知识蒸馏模型加上对抗训练。原理和实现都很简单。如图：
MEAL V2与V1对比实现图
相关的loss函数：
学生模型与老师模型的KL loss
老师模型loss
对抗loss
效果展示：
实验结果
