吴恩达-机器学习课程--07: Regularization的学习总结：
欠拟合（underfitting/high bias）：模型的拟合程度不高，数据距拟合曲线较远。
过拟合（overfitting/high variance）：为了得到一致假设而使假设变得过度复杂，训练出的模型只能在训练数据上很好的拟合，但在训练数据外的数据集上不能很好地拟合数据，泛化能力差。如果有较多的特征而训练数据较少，就容易出现过拟合。
泛化能力（generalization ability)）：机器学习算法对新样本的适应能力。
下图一underfitting，下图三overfitting。
以线性回归为例展示过/欠拟合情况
解决过拟合的方法：
1、减少特征数量 2、正则化
如果每个特征都对最后的结果的有影响，可选择正则化的方法来解决过拟合问题。
正则化：修改代价函数，使参数 θ变小，以获得更简单的模型，如下图所示（通常不惩罚θ0）
正则化的线性回归代价函数
λ为正则化参数，需要平衡选择，既要使模型较好的拟合训练数据，又要使θ变小，避免过拟合。
如果λ选择过大， θ趋近于0，会出现underfitting的情况。
梯度下降法求θ
原锑度下降法求线性回归的参数θ：
原锑度下降法求线性回归的参数θ
求导后：
原锑度下降法求线性回归的参数θ
正则化后J(θ)：
正则化后J(θ)
求导后：
求导后的θj
合并第一项和第三项：
合并后的 θj
第一项中的
大概等于（1-很小的数）如0.99
第二项和之前的梯度下降法求线性回归的参数θ没有区别。
正规方程求θ
原正规方程求 θ的公式：
原正规方程求θ
忽略推导过程，正则化后为：
正则化后正规方程求θ
已证明λ>0，括号中的矩阵一定是可逆的。
逻辑回归的正则化
原逻辑回归代价函数：
原逻辑回归代价函数
正则化需要在上式后加上如下项：
加入项
原梯度下降法求逻辑回归的参数θ（求导后）：
原梯度下降法求逻辑回归的参数θ
正则化后梯度下降法求逻辑回归的参数θ（求导并且合并后）：
正则化后求θ
