逻辑回归(吴恩达机器学习)

一、分类问题

在分类问题中,我们的任务是通过算法对数据判断是否属于某一类,如果只有两类的话,那么就是“是”与“否”。

分类的例子比如说:判断一封邮件是否属于垃圾邮件,判断一次金融交易是否属于欺诈,判断肿瘤是良性肿瘤还是恶性肿瘤等。

在二元分类问题中,最后输出的结果只有两种,其中“0”表示“否”,“1”表示是“是”。对于(0,1)区间的其他值,取大于等于“0.5”输出为1,小于“0.5”则输出为“0”,作一个概率上的判断

但如果我们使用“线性回归”的模型,会存在一个问题,即假设函数的输出值并不在(0,1)这个区间内,那么也就无从判断了。所以“逻辑回归”解决的就是这个问题:

它的输出值永远在0到1之间

二、逻辑回归

2.1逻辑回归模型

还记得线性模型的假设函数“y=wx+b”嘛,其实逻辑回归的本质,就是在线性模型之外嵌套一层非线性函数。

这就引入逻辑回归的模型:

Sigmoid函数图像

函数模型为:

Sigmoid函数模型

在函数图像可以看出,当“z>=0”时,输出“g(z)>=0.5”,当“z<0”的时候,输出“g(z)<0.5”,而整个模型的输出值区间,无论z取什么,都是在(0,1)之间。这完美符合我们对分类问题的处理方式。

这时我们就可以定义:

2.2嵌套分类模型

刚刚说到,逻辑回归的本质其实是线性模型嵌套上一层分类函数。我们知道线性模型的函数为“y=wx+b”,把逻辑回归中的自变量“z”替换线性模型的因变量“wx+b”,换句话说,也就是把线性模型的输出结果,当做逻辑回归模型的输入,本质上是再进行一次函数映射(具体选择什么函数,则看我们的需要咯)

那么嵌套后的逻辑回归模型就变为:

线性模型嵌套sigmoid

最后,我们来梳理一下“逻辑回归”的逻辑:

wx+b>0,则z>0,则0.5<g(z)<01,则h=“1”,分类输出结果为“是”

wx+b<0,则z<0,则0<g(z)<0.5,则h=“0”,分类输出结果为“否”

当然,构建好逻辑回归的模型之后,训练模型的思路和线性回归是一致的。也是通过构建全局性误差函数Loss,通过梯度下降法来找到Loss的最小值点,找到合适的模型(关于线性回归和梯度下降,可以出门左转看我的文章哦)

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 机器学习是做NLP和计算机视觉这类应用算法的基础,虽然现在深度学习模型大行其道,但是懂一些传统算法的原理和它们之间...
    在河之简阅读 20,604评论 4 65
  • 注:题中所指的『机器学习』不包括『深度学习』。本篇文章以理论推导为主,不涉及代码实现。 前些日子定下了未来三年左右...
    我偏笑_NSNirvana阅读 40,170评论 12 145
  • 老吴,我要走啦……厦门办事效率太低啦!… 我来厦门给一个兄弟的广告公司帮忙,还不到2个月,就看到很多员工没有准时交...
    桂花花瓶宝宝阅读 325评论 1 0
  • 十年追思,难忘诛仙! 蓦然回首,已经十年了…… 十年前,我还只是个懵懂的少年。 十年前,我还不识愁之滋味。 十年前...
    梦随信仰阅读 1,096评论 0 5
  • 今天有朋友来聊人生了,讲了很多人生的困惑,每个人面对的压力差别是很大的,有的时候也是自取烦恼。 今天和李金志谈了一...
    洗涤阅读 304评论 0 0