1.概念:逻辑回归假设数据服从伯努利分布,通过极大似然函数的方法,运用梯度下降来求解参数,来达到将数据二分类的目的。
2.逻辑回归的基本假设
假设一:假设数据服从伯努利分布
模型可描述为:
假设二:假设样本为正的概率是:
逻辑回归的最终形式:
3.逻辑回归的损失函数
逻辑回归的损失函数是它的极大似然函数:
4.逻辑回归的求解方法
由于极大似然哈桑无法直接求解,一边拿通过梯度下降来不断逼近最优解
(1)批量梯度下降
优点:获得全局最优解
缺点:更新每个参数都需要遍历所有的数据,计算量会很大,并且会有很多的冗余计算,导致的结果是当数据量大的时候,每个参数的更新都会很慢。
(2)随机梯度下降
优点:使得sgd会跳到新的和现在更好的局部最优解
缺点:使得收敛到局部最优解的过程更加的复杂
(3)小批量梯度下降(minbatch)
优点:结合了sgd和batch gd的优点,每次更新的时候使用n个样本,减少了参数更新的次数,可以达到更加稳定收敛效果,一般在深度学习中采用这种方法,在保证得到最优解的情况下更新速度也较快
5.逻辑回归的目的
将数据二分类,提高准确率
6.逻辑回归如何分类(Sigmod函数)
逻辑回归作为一个回归(也就是y值是连续的),如何应用到分类上去呢。y值确实是一个连续的变量。逻辑回归的做法是划定一个阈值,y值大于这个阈值的是一类,y值小于这个阈值的是另外一类。与之具体如何调整根据实际情况选择,一般会选0.5