集成学习方法
在机器学习中的集成学习可以在一定程度上提高预测精度，常见的集成学习方法有：
- Bagging，即Bootstrapping aggregation，其思想是在随机不同版本的训练数据上训练许多基础模型。每个模型拥有一票表决权，并且无论预测准确度如何，都做相同的处理，然后对预测变量进行汇总以得出最终结果。在大多数情况下，Bagging后结果的方差会变小。例如，随机森林是Bagging方法中最著名的模型，它将决策树与Bagging理念结合在一起。
- Boosting，Boosting和Bagging之间最本质的区别在于，boosting并不会同等的对待基础模型，而是通过连续的测试和筛选来选择“精英”。表现良好的模型对投票的权重更大，而表现较差的模型的权重更小，然后将所有的投票组合得到最终结果。在大多数情况下，boosting后结果的偏差会变小。例如，Adaboost和Gradient boost是boosting方法中最常用的模型。
- Stacking，对基础模型的结果进行平均或投票相对简单，但是学习误差可能很大，因此创建了Stacking。Stacking策略不是对模型的结果进行简单的逻辑处理，而是在模型外增加一层。因此，我们总共有两层模型，即通过预测训练集建立第一层模型，然后将训练集预测模型的结果作为输入，再对第二层新模型进行训练，得到最终结果。基本上，Stacking可以减少方差或bagging/boosting的偏差。
同时这些集成学习方法与具体验证集划分联系紧密。
由于深度学习模型一般需要较长的训练周期，如果硬件设备不允许建议选取留出法，如果需要追求精度可以使用交叉验证的方法。
深度学习中的集成学习
此外在深度学习中本身还有一些集成学习思路的做法，值得借鉴学习：
-
Dropout，Dropout可以作为训练深度神经网络的一种技巧。在每个训练批次中，通过随机让一部分的节点停止工作。同时在预测的过程中让所有的节点都其作用。
TTA，测试集数据扩增（Test Time Augmentation，简称TTA）也是常用的集成学习技巧，数据扩增不仅可以在训练时候用，而且可以同样在预测时候进行数据扩增，对同一个样本预测三次，然后对三次结果进行平均。
Cyclical Learning Rate，周期性学习率(Cyclical Learning Rate)技术以可操作性地消除往常需要实验般地去手动寻找最佳的最佳学习率和全局的学习率的schedule调整方案，CLR通过调整学习率在上边界和下边界中变化，而不是单调地减少学习率来达到网络的最佳拟合状态。
这几块还都不太理解，需要多学习。
