在学习Andrew Ng《Machine Learning》课程时，遇到了一些问题和不了解的东西，在此记录下来，以备后续查看。
lesson 2 线性回归与梯度下降
1.为什么梯度反方向是局部下降最快的方向？
（直观理解）梯度的定义就是在一已知点上函数变化最快的方向。而数学家们证明，当函数中每一个变量都沿着这个变量的偏导数方向变化时，函数整体变化最快。
参考：https://zhuanlan.zhihu.com/p/24913912
https://www.zhihu.com/question/265021971/answer/288270304
lesson 3 欠拟合与过拟合、带权重线性回归、logistics回归
1. KD tree
https://zhuanlan.zhihu.com/p/45346117
lesson 5 生成学习算法
1. 高斯判别分析的推导过程
https://zhuanlan.zhihu.com/p/39318156
lesson 7 最优间隔分类器问题
1. 优化方法
带约束的梯度下降法
https://www.cnblogs.com/wuliytTaotao/p/11077353.html
最速下降法
https://zhuanlan.zhihu.com/p/32709034
梯度下降法和最速下降法的区别
https://blog.csdn.net/Timingspace/article/details/50963564
2. KKT dual complementarity condition的解释
https://zhuanlan.zhihu.com/p/38163970
lesson 8 顺序最小优化算法
1. 软间隔SVM的KKT条件：
对于任意训练样本，总有
或者
。若
，则样本对于计算
不会有任何影响；若
，则必有
，即样本是支持向量：由
（令拉格朗日函数对
的偏导为零可得）可知，若
，则
，进而有
，即该样本恰在最大间隔的边界上；若
，则有
，此时若
则该样本落在最大间隔内部，若
则该样本被错误分类。(西瓜书 Chap.6.4)
2. 序列最小最优化算法求解拉格朗日乘子
(SVM)的详细推导过程：
李航 《统计学习方法》Chap.7.4.1
持续更新中...
