ML训练营笔记3

$f:X \rightarrow Y$

$\begin{align} h_{\theta}(x) & =\theta_0+\theta_1x_1+\theta_2x_2 \\ & = \sum^T_{i=0} \theta_ix_i \\ & = \theta^Tx \end{align}$

线性回归中的损失函数使用的是平方损失函数，其表达式

$J(\theta_0,\theta_1,...,\theta_n)=\frac{1}{2m}\sum^m_{i=1}(h_{\theta}(x^{(i)})-y^{(i)})^2$

目标：使得损失最小化

原始形式：

$\theta_j:=\theta_j-\alpha \frac {\partial J(\theta_0,\theta_1,...,\theta_n)}{\partial \theta_j}$

将代价函数 $J$ 带进去：

$\theta_j:=\theta_j-\frac{1}{2m} \alpha \frac {\partial \sum^m_{i=1}(h_{\theta}(x^{(i)})-y^{(i)})^2}{\partial \theta_j}$

求导数之后：

$\theta_j:=\theta_j-\frac{1}{m} \alpha \sum^m_{i=1}((h_{\theta}(x^{(i)})-y^{(i)})\cdot x_j^{(i)}$

当 $n \geq 1$ 时：

$\theta_0:=\theta_0-\frac{1}{m} \alpha \sum^m_{i=1}((h_{\theta}(x^{(i)})-y^{(i)})\cdot x_0^{(i)}$

$\theta_1:=\theta_1-\frac{1}{m} \alpha \sum^m_{i=1}((h_{\theta}(x^{(i)})-y^{(i)})\cdot x_1^{(i)}$

$\theta_2:=\theta_2-\frac{1}{m} \alpha \sum^m_{i=1}((h_{\theta}(x^{(i)})-y^{(i)})\cdot x_2^{(i)}$

模型特征多，模型比较复杂，对原始数据拟合的很好，但是对新的数据预测效果差。

MzINad.png

正则化技术主要是为了解决过拟合的问题。过拟合指的是：对现有的样本数据具有很好的判断能力，但是对新的数据预测能力很差。

对于过拟合的处理：

$J(\theta)=\frac{1}{2m}\sum^m_{i=1}(h_{\theta}(x^{(i)})-y^{(i)})^2+\lambda \sum^n_{j=1}\theta^2_{j}$

Attention：一般地，不对进行惩罚；加上正则化参数实际上是对参数进行惩罚。

对离散值进行分类，激活函数是 $sigmoid(x)=\frac{1}{1+e^{-x}}$ ，也称之为压缩函数

$h_\theta(x)=g(z)= \frac{1}{1+e^{-\theta^TX}}$

$Cost(h_\theta(x), y) = \begin{cases} -\log(h_\theta(x)), & \text{y=1} \\ -\log(1-h_\theta(x)), & \text{y=0} \\ \end{cases}$

加入正则项：

$J(\theta)=\frac{1}{m}\sum^m_{i=1}[-y^{(i)}\log(h_\theta(x^{(i)}))-(1-y^{(i)})\log(1-h_\theta(x^{i}))]+\frac{\lambda}{2m}\sum^n_{j=1}\theta^2_j$

最后编辑于：2019.11.28 19:39:15