如何理解软间隔SVM可以看作是L2正则化的LR，而正则化的LR也像是在做SVM

SVM软间隔化的原始问题：

（1）0/1损失函数

$l_{0/1}(z)=\begin{cases} 1，z<0 \\\\ 0，z>=0 \end{cases}$

$\frac{1}{2}||w||^2+C\sum_{i=1}^{N}l_{0/1}(y_i(wx_i+b)-1)$

（2）合页损失函数
函数间隔大于1时无损失、小于1时有损失，得软间隔优化问题： $\min_{w}\frac{1}{2}||w||^2+C\sum_{i=1}^{N}max(0,1-y_i(wx_i+b))$

引入松弛变量 $\zeta_i=max(0,1-y_i(wx_i+b))$

（3）对率几率损失函数
可见上述软间隔SVM与逻辑回归（使用L2正则化）优化目标相近，通常性能也基本一致。对率回归的输出具有自然的概率意义，而SVM不做处理时，输出不具有概率意义。此外对率回归能直接用于多分类，SVM需加以推广。由于合页损失函数有平坦的零区域，使得支持向量机的解具有稀疏性，具有支持向量的概念，计算开销较小。

$min_{w,b}\frac{1}{2}||w||^2+C\sum_{i=1}^{N}log(1+e^{1-y_i(wx_i+b)})$

常用的替代损失函数图.png

L2正则化的LR

损失函数： $-\frac{1}{N}\sum_{i=1}^{N}(y_ilog(\pi(x))+(1-y_i)log(1-\pi(x)))$ = $\frac{1}{N}\sum_{i=1}^{N}(y_i(wx_i+b)-log(e^{wx_i+b}+1))$

$\frac{1}{N}(\sum_{i=1}^{N}[(w_ix_i+b-y_i)xi_j]+\sum_{i=1}^{N}w_i^2)$