image.png
image.png
。如果通过指数加权平均使得梯度计算的时候更加平滑，但是整体趋势还是往函数收敛的方向走。运行效率就会增加。同时指数加权并不会占用很大的内存和计算量。
超参数beta的值，可以预估平均了多少个数。1/(1-beta)。当beta=0.9,值等于10,就表示平均了10个数。当 beta越大，平均的数量就越大。。使得函数在初期的预估值不是很准，但是越往后越准。。这里再配合mini-batch时候，每个批次数量和beta就存在一些关系。当batch-size=128的时候，beta=0.98，这个时候平均50个数据量，使得这个批次的梯度计算时候，收集了50个样本后才开始接近真实的梯度，就显得浪费了50个样本。。（个人理解）
