1，线性回归学习
基本形式
给定d个属性描述的示列 X =（X1，X2，.....Xn）然后线性模型试图学习通过属性组合来进行预测的函数
一般用向量形式表示
过程处理
现在假设有数据集{（X1，Y1）,（X2,Y2）,.......,（Xn,Yn）}
写成以下向量新形式
损失函数
如何确定w和b，关键在于衡量f（x）和y之间的差别，均方误差是回归任务中最常用的性能度量，使其最小
当矩阵满秩情况下求导为0
当矩阵不满秩情况下用梯度下降（解决直接运算性能问题）
批量梯度下降BGD
按照传统的思想，我们需要对上述风险函数中的每个
求其偏导数，得到每个theta所对应的梯度
这里X(i,j)表示第i个样本点
的第j分量，即h(θ)中的
接下来由于我们要最小化风险函数，故按照每个参数
的负梯度方向来更新每一个
apltha表示每一步步长。从上面公式可以注意到，它得到的是一个全局最优解，但是每迭代一步，都要用到训练集所有的数据，如果m很大，那么可想而知这种方法的迭代速度！！所以，这就引入了另外一种方法，随机梯度下降。
随机梯度下降
家下来我们对每个样本的损失函数，对每个theta求偏导数，得到每个theta所对应的偏导数
然后根据每个参数thetaj的负梯度来更新每一个theta
对比其优劣点如下：
批量梯度下降：
优点：全局最优解；易于并行实现；总体迭代次数不多
缺点：当样本数目很多时，训练过程会很慢，每次迭代需要耗费大量的时间。
随机梯度下降：
优点：训练速度快，每次迭代计算量不大
缺点：准确度下降，并不是全局最优；不易于并行实现；总体迭代次数比较多。
对数几率回归 线性回归分类
上面讲到的是对数据结果的一个预测，我们需要分类的话，引进Signoid函数
做一些简化，可以得到：
在只考率二分类的情况下，将Y换成后验概率P(Y=1|x),则1-y用P(Y=0|x)来表示。
看到上面，我们通过极大似然估计来估计w和b
为表述方便，使用一个新矩阵β来表示ω和b，令β={ωb}。 同时也要给x矩阵补上一列1，令x′={x1}。因为要对应参数b，补上1，保证结果不变。 那么，ωTx+b=βTx′。 由于是二分类，即只有y=0和y=1的情况，那么可以将似然项重写为y=0和y=1的情况相加：
将上式代入极大似然的公式中然后求解
线性判别分析LDA
常被用于数据预处理中的降维（dimensionality reduction）步骤。LDA在保证良好的类别区分度的前提下，将数据集向更低维空间投影，以求在避免过拟合（“维数灾难”）的同时，减小计算消耗。将d维特征降到只有一维，而又要保证类别能够“清晰”地反映在低维数据上，也就是这一维就能决定每个样例的类别，大概就是说，通过拟合一条直线，使得同类样例的投影点尽可能的近不同类的中心距离尽可能的远
基本概念：
协方差矩阵
相关系数
相关系数也可以看成是一种标准差。它消除了两个变量变化幅度的影响，而只是单纯地反映两个变量每单位变化时的相似程度。。 相关系数的取值范围是-1 到 1。相关系数为1 说明两个变量为正相关，且为线性关系，即X增大一倍，Y也会增大一倍，X减小一倍，Y也会减小一倍；相关系数为0，说明两个变量相互独立，不存在相关关系。相关系数为-1时，说明两个变量为负相关，且为线性关系，即X增大一倍，Y也会减小一倍，X减小一倍，Y会增大一倍
我们知道协方差只能处理二维问题，维数多了就需要多个协方差，所以就有协方差矩阵，以三维数据为例子
散布矩阵又称散度矩阵，将协方差矩阵乘以系数（n-1）就得到了散布矩阵，n表述数据的维度
给定数据集D={(Xi,Yi)}(i=1...m)表示有M条数据，yi={0.1}，令Xi，ui，Ci分表表示第i类实列的集合，均值向量，协方差矩阵，若将数据投影到直线w上，则两类样本的中心在直线上的投影将分别是trac(w)u0和trac(w)u1，若将所有的样本都投影在直线上，则两类i样本的协方差分别是trac(w)C0w和trac(w)C1w。
要使同类样例的投影点尽可能的近，即可让同类样例的的协方差尽可能的小。 即trac(w)C0w+trac(w)C1w尽可能小，同时考虑让||trac(w)u0-trac(w)u1||的二次范式的平方尽可能大 通过这得到最大化目标
接下里就是通过上面的J函数找到满足条件的一对w和b
实战代码
最小二乘法代码实现
实现目标 Y=wX+b w和b的求解包含在上面（n+1，1）矩阵当中后N个是w的值，第一个表示截距b
```python
import numpyas np
from numpy.linalgimport inv
from numpyimport dot
from numpyimport mat
import matplotlib.pyplotas plt
a = [[1,2,3],
[1,9,12],
[1,4,2],
[1,7,2],
[1,4,1],
[1,6,2]]
b = mat(a)
y = [1,2,3,4,5,6]
theta = dot(dot(inv(dot(b.T,b)),b.T),y)
print(theta)
运行结果：
梯度下降法代码：
#get_ipython().run_line_magic('matplotlib', 'inline')
import matplotlib.pylabas plt
import numpyas np
from sklearnimport datasets
class LinearRegression():
def __init__(self):
self.w =None
def fit(self, X, y):
# Insert constant ones for bias weights
print("first:", X.shape)
# 在第0项，插入 1，让x0项为1
X = np.insert(X, 0, 1, axis=1)
print("second:", X.shape)
# inv(): 对当前值取逆， dot()：矩阵计算
X_ = np.linalg.inv(X.T.dot(X))
# 算出来 最好的 一组参数 theta
self.w = X_.dot(X.T).dot(y)
def predict(self, X):
# Insert constant ones for bias weights
X = np.insert(X, 0, 1, axis=1)
y_pred = X.dot(self.w)
return y_pred
def mean_squared_error(y_true, y_pred):
mse = np.mean(np.power(y_true - y_pred, 2))
return mse
def main():
# load the diabetes dataset
diabetes = datasets.load_diabetes()
# Use only one feature
X = diabetes.data[:, np.newaxis, 2]
print(X.shape)
# split the data into training/testing sets
x_train, x_test = X[:-20], X[-20:]
# Split the targets into training/testing sets
y_train, y_test = diabetes.target[:-20], diabetes.target[-20:]
clf = LinearRegression()
clf.fit(x_train, y_train)
y_pred = clf.predict(x_test)
# Print the mean squared error
print("Mean Squared Error:", mean_squared_error(y_test, y_pred))
# Plot the results
plt.scatter(x_test[:, 0], y_test, color='black')
plt.plot(x_test[:, 0], y_pred, color="blue", linewidth=3)
plt.show()
```
main()
实验结果：
