原博客：https://daya-jin.github.io/2018/10/09/Regularization/
正则化
传统学习模型的一般目标函数为：
后面的那一项即正则化项，也是本文主要讨论的项，其中为惩罚系数，
，常用的选择是范数。
L0范数
零范数比较特殊，一个向量的零范数是向量中非零元素的个数：
如果使用L0范数当作正则函数的话，那么肯定是希望参数向量中的零元素越多越好。但是因为L0范数是一个计数值，在优化目标时不便运算（如求导），所以一般不选用。
L1范数
显而易见L1范数为向量中所有值的绝对值之和，是L0范数的最优凸近似，而且比L0范数要容易优化求解，所以一般不使用L0范数，而是使用L1范数来代替它。
使用L1范数作为正则函数时，优化的目标函数变为：
这也被称为LASSO (Least Absolute Shrinkage and Selection Operator) ，它能够产生稀疏解。下面来看一个直观的解释，我们需要求的最优解为：
假设此处用的损失函数为二次函数，那么目标函数的等值线是一个椭圆或圆；而约束条件为L1范数，其等值线为一个菱形。目标函数的等值线与约束边界的图像如下图所示（以二维为例）：
（不支持矢量图，请移步原博客查看）
可以看到，在约束条件下的最优解，总是处于约束条件的角上，而约束条件的角上必定会出现一个或多个的情况，这就导致了解解稀疏性，在更高维的情况下也是如此。
以L1范数为正则项可以用来筛选特征，得出的非零所对应的特征是关联特征，而那些为零的
对应的特征肯定是弱特征。
L2范数
L2范数也是应用很广的一种正则化手段，使用L2范数的条件下，目标函数变为：
以上问题也被称为Ridge。在讲L2范数的作用之前，先要了解两个概念：病态(ill-conditioned)矩阵与条件数(condition number)。
下面是一个病态矩阵的求解示例：
病态矩阵列向量之间的线性相关性非常高，在稍微改变一下原数据(400 -> 401)的情况下，得出来的解全然不同，这说明病态矩阵的解对与
的系数高度敏感，这明显不是我们想要的结果。因为原始数据和真实数据有一定误差，如果因为这些数据中的误差而导致求出来的解与期望解相差巨大，那么这个解就是无用的。
我们用范数来衡量矩阵的病态度。首先假设数据中出现了误差，那么有：
根据范数的三角性质
有：
易得：
可得：
同理，对于变化的，也有：
令条件数等于：
它表示了解关于方程系数的敏感度，也侧面体现了矩阵中列向量之间的线性相关强度。
在线性回归中，常用的目标函数是MSE，这种情况下，最优解可以用正规方程显式地求出来：
但是，如果矩阵X的行数要小于列数，在数据上体现为样本数小于特征数，那么不满秩且不可求逆，这样就无法求解了。
即使满秩可求逆，如果矩阵
的条件数
很大，即数据的特征之间线性相关性很高，那么求出来的解也是不稳定的，它会因数据集的微小扰动而发生巨大变化。
然后我们看一下加入了L2正则项之后的正规方程(正规方程推导过程待补充)：
因为单位阵是满秩的，所以一定是可逆的，这样就保证了目标函数一定有最优解。
另一方面，目标函数中加入L2正则项，也将目标函数变成了一个强凸函数(此处没理解)，能加速迭代。
最后来看一个直观的解释，在L2正则下，我们需要求解的最优解为：
假设此处用的损失函数为二次函数，那么目标函数的等值线是一个椭圆或圆；而约束条件为L2范数，其等值线为一个圆形。目标函数的等值线与约束边界的图像如下图所示（以二维为例）：
（不支持矢量图，请移步原博客查看）
对于L2正则需要注意的几点是：
- L2正则并没有解决数据中特征线性相关的问题
- L2正则引入了偏差，是一种以增加偏差降低方差的方法
