MovieLens 1M lr grid search [0.0001,0.001,0.01,0.1,1]搜索
1）看train loss curve起码要基本正常，不能出现向上走的趋势。
往下走，可以有局部震荡。
下降速度太快可能是learning rate太大.
下降坡度太小，缓慢下降。
曲线初始时 上扬[红线]：
Solution：初始学习率过大 导致振荡，应减小学习率，并从头 开始训练。
曲线初始时 强势下降 没多久 归于水平[紫线]：
Solution：后期学习率过大 导致无法拟合，应减小学习率，并重新训练 后几轮。
曲线全程缓慢[黄线]：
Solution：初始学习率过小 导致收敛慢，应增大学习率，并从头 开始训练。
出自：https://blog.csdn.net/qq_33485434/article/details/80452941
https://blog.csdn.net/qq_33485434/article/details/80452941
有时候也不一定，所以要综合看training auc, acc,evaluating auc, acc, testing auc, acc.综合判定。
正常的train, eval, test auc, acc应该是逐步升高，在趋近于平缓。
我用book-crossing的parameter初始化MovieLens1M的超参数。
1）training loss curve
2) training/eval/test auc, acc curve
3) training/eval/test auc, acc txt
综合以上三个方面来看选择最正常的作为最终的最佳learning rate调节，记为lr_0
然后在选择1*lr_0, 2*lr_0, 5*lr_0，作为调节参数的grid调节。
