对于轻量化模型来说，一个重要的评价指标：模型的实际操作数（MAdds）
FLOPs=2*MAdds
MobileNet-V1的核心思想是将传统卷积分解为深度可分离卷积与1 x 1卷积，它是一种更高效的能够在移动设备上部署的轻量级神经网络。深度可分离卷积是指输入特征图的每个channel都对应一个卷积核，这样输出的特征的每个channel只与输入特征图对应的channel相关。这种卷积操作能够显著的降低模型的大小和计算量，而在性能上能够与标准卷积相当。
MobileNet-V1的缺陷在于结构问题： MobileNet-V1使用了传统的直筒结构，然而后续的ResNet等网络结构证明了通过Residual Connection等操作复用图像特征的融合操作可以给网络带来更大的性能提升。Depthwise Convolution的问题： 虽然理论上N x N的DepthWise+1 x 1的PointWise在性能方面能够接近N x N的普通卷积，但是由于DepthWise的每个kernel维度较小，再Rlue激活函数的影响下，神经元的输出很容易变为0，从而使DepthWise部分的卷积过于稀疏，并且这个问题在定点化低精度训练的时候会进一步放大。
MobileNet-V2
Inverted Residual Block 添加了Residual Connection，由于DepthWise Convolution的参数量较小，所以作者并没有采用类似与ResNet中的先降维、再卷积、再升维的沙漏型Residual Block。而是改为先升维、再卷积、再降维的柳叶型Residual Block，并起名为Inverted Residual Block。
ReLU6 在MobileNet-V1中DepthWise Convolution中最后一个1*1的conv后面接着ReLU6激活函数，而Xception已经证明了再DepthWise卷积后再加ReLU效果会变差，所以V2中去掉了最后的ReLU激活函数，改为线性的输出。
MobileNet-V3
为在保留高维特征的前提下减小延时，移除特征生成层后，先前用于瓶颈映射的层也不再需要了，这将为减少10ms的开销，在提速15%的同时减小了30m的操作数。
两大创新点
1.互补搜索技术组合：由资源受限的NAS执行模块级搜索，NetAdapt执行局部搜索。
2.网络结构改进：将最后一步的平均池化层前移并移除最后一个卷积层，引入h-swish激活函数。
