本文为恒生电子李涛在中国技术开放日上的发言演讲PPT。觉得实在太详细实诚了。于是千方百计地把图放上来。
注:convolution neural network
- 数据预处理:zero center, normalization; shuffling training examples;
- 学习速率调整: decreasing, AdaGrad/ AdaDelta
- 避免过拟合: early stopping, weight decay
- 权重初始化: 方差归一
- 梯度下降优化: SDG, Variance Reduction