| VIEDO |
|---|
[机器学习入门] 李宏毅机器学习笔记-3 （Gradient Descent ；梯度下降）
| VIEDO |
|---|
Review
这里写图片描述
这里写图片描述
梯度下降的三个小贴士
Tip 1 Tuning your learning rates
这里写图片描述
- 最流行也是最简单的做法就是：在每一轮都通过一些因子来减小learning rate。
- 最开始时，我们距离最低点很远，所以我们用较大的步长。
- 经过几轮后，我们接近了最低点，所以我们减少learning rate。
- 比如： 1/t 衰减： $η^n=\frac{η}{\sqrt {t+1}}$
- learning rate 不能从一而终
- 要给不同的参数设置不同的learning rate。
为了达到此目的，有许多种技巧，而Adagrad就是一种不错的选择。
Adagrad
这里写图片描述
这样操作后，每组参数的learning rate 都不同。
举个例子：
这里写图片描述
所以用Adagrad后，我们的参数变化要写成这样：
这里写图片描述
Adagrad越到后面改变会越慢，这是一个正常现象。
Q：有没有奇怪的地方？？是否有所冲突？？
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
Tip 2：Stochastic Gradient Descent
让你的Training更快一点！
这里写图片描述
这里写图片描述
Tip 3 : Feature Scaling
让不同的特征值具有相同的缩放程度。
这里写图片描述
这里写图片描述
这里写图片描述
