接之前深度学习数据增强概括一
基于DL的数据增强
1、Feature space augmentation特征空间增强
神经网络可以很好地将高维输入映射为低维表示，我们主要是从全连接层中提取特征向量（相对于图像维度来说是低维表示），这些在CNN高层中发现的低维表示称为特征空间。
特征空间增强上使用自动编码器非常有效，自动编码器利用网络的一半（编码器），将图像映射为低维矢量；网络的另一半（解码器），可以将这些矢量重构回原始图像。
这样做截断了整个CNN的输出层以获取特征向量，可以将这些特征向量用机器学习的方法处理。此方法缺点是很难解释特征向量，并且允许在数据空间中转换图像时，数据空间增强将胜过特征空间增强。
2、Adversarial training对抗训练
对抗训练框架使用两个或多个网络，并在其损失函数中编码相反的目标，对抗训练中，竞争网络学习对图像的增强，从而导致其对手网络中的错误分类。通过注入噪声，图像的表示远不如预期的鲁棒性，有些图像甚至只因为改变一个像素就被错误分类。但随着图像分辨率的提高，对抗性攻击的成功被夸大了。
通过限制可用于对抗网络的增强和失真手段，可以学习产生导致错误分类的增强做法，从而形成有效的搜索算法。对抗性增强可能无法代表测试集中可能出现的示例，但可以改善学习决策边界中的薄弱环节。
以噪声或增强搜索的形式进行对抗训练仍有待验证，未来目标旨在拓展对抗性攻击抵抗力与测试数据集实际性能之间的关系。
3、GAN‑based Data Augmentation基于GAN的数据增强
结合上面讨论的对抗性训练以及建模框架，提出了GAN，它能够生成新的训练数据，从而产生更好的分类模型。GAN不是唯一的生成建模技术，但它在计算速度和结果质量方面处于领先地位。
通过上图理解GAN，生成器网络采用某种形式的输入，可以是随机向量，其他图像，文本等；判别器网络分辨生成的实例是来自训练集还是由生成器网络创建的。数据增强中，GAN是最有前途的生成建模技术。
vanilla GAN架构能在简单的图像数据集（如MNIST）上生成可接受的图像，但它无法为更高分辨率，更复杂的数据集产生高质量的结果。关于GAN的许多改进架构被提出，在这些新架构中，DCGANs, Progressively Growing GANs, CycleGANs, 和Conditional GANs在数据增强方面具有更好的应用前景。GAN应用于数据增强的大多数研究包括生物医学图像分析领域。
GAN缺点：①从当前的最新架构中获得高分辨率输出非常困难， 生成器生成图像的输出大小增加可能会导致训练不稳定和不收敛；②需要大量的数据进行训练。
4、Neural Style Transfer神经风格迁移
神经风格迁移可以在保留原始内容的同时将一个图像的样式转移到另一个图像上，对于数据增强，这点类似于色彩空间照明转换。 神经风格迁移扩展了照明的变化范围，并且还可以编码不同的纹理和艺术风格。
问题在于选择哪种风格，例如自动驾驶可以将场景转换为白天与黑夜，不同季节或者不同天气。为了方便，可以设置一组包含k种样式并将其应用于训练集中的所有图像。值得一提的是有人把神经风格迁移应用到使用深度强化学习的机器人任务上：
缺点：需要选择样式来转换图像，样式集太小会有偏差，样式集太大会需要大量内存和计算资源。
5、Meta learning Data Augmentations元学习数据增强
深度学习研究中的元学习概念通常是指使用神经网络优化神经网络，以下有通过元学习进行数据增强的三个实验：
①Neural augmentation神经增强：同一类中获取两个随机图像，前置的增强网络通过5层CNN将它们映射为新图像，然后通过神经风格迁移用另一个随机图像进行变换，接着输入到分类模型中。该网络学习不同图像之间的内容和样式图像以及CNN中图像之间映射的最佳权重。
②Smart Augmentation智能增强：与上述方法类似，但图像的组合是专门从前置CNN的学习参数中得出。两个网络Network-A和Network-B，网络A为增强网络，吸收两个或更多输入图像并将它们映射到一个或多个新图像中以训练网络B，网络B对误差反向传播以更新网络A。
③AutoAugment自动增强：这是一种强化学习算法，可在一组杂乱的几何变换的受限集合中搜索最佳的增强策略。在强化学习算法中，策略决定了在给定的状态下采取什么行动来实现某个目标。此方法学习一个由许多子策略组成的策略，每个子策略都包含一个图像变换和变换幅度。
元学习缺点是概念相对较新，尚未经过严格的测试。实施可能很困难且耗时，还要解决梯度消失的问题。
