目录
- 什么是回归
- 一元线性回归
- 损失函数
- 最小二乘估计
- 小结及代码
1. 什么是回归
- 回归算法是相对分类算法而言的，与我们想要预测的目标变量y的值类型有关。
如果目标变量y是分类型变量，如预测用户的性别（男、女），预测月季花的颜色（红、白、黄……），预测是否患有肺癌（是、否），那我们就需要用分类算法去拟合训练数据并做出预测；
如果y是连续型变量，如预测用户的收入（4千，2万，10万……），预测员工的通勤距离（500m，1km，2万里……），预测患肺癌的概率（1%，50%，99%……），我们则需要用回归模型。
分类问题也可以转化为回归问题，例如肺癌预测，我们可以用回归模型先预测出患肺癌的概率，然后再给定一个阈值，例如50%，概率值在50%以下的人划为没有肺癌，50%以上则认为患有肺癌。
2.一元线性回归
线性回归可以说是用法非常简单、用处非常广泛、含义也非常容易理解的一类算法。我们将y作为因变量，x作为自变量，得到方程：
当 已知的时候，画在坐标图内是一条直线（这就是“线性”的含义）。
- 当我们只用一个x来预测y，就是一元线性回归，也就是在找一个直线来拟合数据。
- 如图，一组数据的散点图，横坐标代表广告投入金额，纵坐标代表销售量，
-
线性回归就是要找一条直线，并且让这条直线尽可能地拟合图中的数据点。
拟合-回归 - 我们得到的拟合方程是
，
- 当我们获得一个新的广告投入金额后，我们就可以用这个方程预测出大概的销售量。
3.损失函数
那既然是用直线拟合散点，为什么最终得到的直线是，而不是下图中的
呢？
这两条线看起来都可以拟合这些数据啊？毕竟数据不是真的落在一条直线上，而是分布在直线周围，所以我们要找到一个评判标准，用于评价哪条直线才是最“合适”的。
我们先从残差说起。残差说白了就是真实值和预测值
间的差值（也可以理解为差距、距离），用公式表示是：
对于某个广告投入
代入公式
的值，再将其平方（为了消除负号），对于我们数据中的每个点如此计算一遍，再将所有的
相加，就能量化出拟合的直线和实际之间的误差。
用公式表示就是：
- 称为残差平方和，即SSE（Sum of Squares for Error），在机器学习中它是回归问题中最常用的损失函数。
- 损失函数是衡量回归模型误差的函数，也就是我们要的“直线”的评价标准。
- 这个函数的值越小，说明直线越能拟合我们的数据。
4.最小二乘估计
问题:
和
的具体值究竟是怎么算出来的呢？
我们知道，两点确定一线，有两组
的值，就能算出来
当给出两条确定的线，如
时，我们知道怎么评价这两个中哪一个更好?
给定一组样本观测值
，要求回归函数尽可能拟合这组值。
最小二乘法给出的判断标准是：残差平方和的值达到最小。
我们再来看一下残差平方和的公式：
- 这个公式是一个关于
-
一元二次函数图像：
2.png -
二元二次函数图像：
2.png - 导数为0时，
取最小值，因此我们分别对
-
都是已知的，全部代入上面两个式子，就可求得
- 这就是最小二乘法，“二乘”是平方的意思。
5.小结
- 线性回归的定义，是利用最小二乘函数对一个或多个自变量之间关系进行建模的方法。
- 以上举的例子是一维的例子（只有一个变量x），
- 如果有两个特征(
)，就是二元线性回归，要拟合的就是二维空间中的一个平面
- 如果有多个特征(
)，那就是多元线性回归：
6.代码
- API: LinearRegression()
- 方法：
- fit
- predict
- 方法：
sklearn建模流程
- 建立模型
Model = sklearn.linear_model.LinearRegression()
- 训练模型
Model.fit(x,y)
- 模型评估
Model.score(x,y)
- 模型预测
Model.predict(x)
import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression
#模拟数据
x = np.linspace(0, 10, 50)
noise = np.random.uniform(-2,2,size=50)
y = 5 * x + 6 + noise
#创建模型
liner = LinearRegression()
#拟合模型
liner.fit(np.reshape(x,(-1,1)),np.reshape(y,(-1,1)))
print(liner)
#预测
y_pred = liner.predict(np.reshape(x,(-1,1)))
plt.figure(figsize=(5,5))
plt.scatter(x,y)
plt.plot(x,y_pred, color="r")
plt.show()
print(liner.coef_)
print(liner.intercept_)
