[机器学习入门]李宏毅机器学习笔记-2(Regression:Case Study;回归:案例研究)

PDF VIDEO

[机器学习入门]李宏毅机器学习笔记-2(Regression:Case Study;回归:案例研究)

PDF VIDEO

Regression-pokemons

正如我们在笔记一中提到的,Regression可以做很多事情。比如Stock Market Forecast、Self-driving Car、Recommendation等等,但是李老师用有趣的案例——预测宝可梦(pokemons)进化后过的CP值(战斗力),来讲解什么是Regression。



如上面图中所示,我们的目标是在函数‘f'中,input一只宝可梦,output他进化后的cp值。
那么寻找这个函数f就成了问题的关键。


Step1 Model

建立模型,比如我们就在这里建立一个Linear model:

y = b + w * x
它是infinite的……
可能为f1: y = 10.0 + 9.0 ∙ x
可能为f2: y = 9.8 + 9.2 ∙ x
可能为f3: y = - 0.8 - 1.2 ∙ x
……

可见,不同的b、w,得到的f不尽相同,而下面,我们就要找到最能契合要求的一个f。

Step2 Goodness of function

Loss function L
input a function
output how bad it is

可以看到,当我们将准备好的training data(已知10个宝可梦的进化情况),建立一个二维坐标轴。


这里写图片描述

通过上图可以看出,似乎有一个函数能够拟合这些坐标点,而这就是我们想要的,为了选出最契合的f,我们要建立一个Loss function L,也就是函数的函数。

Loss function L
input a function
output how bad it is


如果我们将f的w和b作为两轴,则在下图中每一点都代表一个function f,而颜色代表output的大小,也就代表该function f参数的好坏。易理解,smallest点做对应的函数f就是我们想要的。


这里写图片描述

Step 3Best Function

我们刚刚提到最拟合的f,他可能是y = 0.6x +0.8,这个就叫做best function,那么我们该用什么方法在Loss Function下找到它呢?这个L(w,b)smallest该如何计算呢?
首先容易想到的,在本案例中,我们可以用线性代数的基本公式来直接计算出最佳w和b。


这里写图片描述

除了这种方法,当特征值非常多时,我们就要用到梯度下降法来进行计算。


这里写图片描述

当我们在L(w)的二维平面中时,我们必须要找到函数的最低点。
首先随机选取一个点w0,计算微分也就是斜率,如果为正,则增加w,如果为负,则减少w。
而这有另一个问题,每次要增加或减少多少w值呢,有两个因素影响。第一,即微分值,如果微分值很大或很小,表示此处非常陡峭,那么证明距离最低点还有很远的距离,所以移动的距离就很大。第二个因素是我们事先自主定义的常数项η值,即步长。
这里写图片描述

按照这个模式,不断重复,经过非常多的参数更新后,能达到一个最低点。
当我们有多个feature时,即不仅有w还有b,同样不会影响梯度下降过程,展示出来就是这样的:


这里写图片描述

说到这里大家可能会担心,会不会产生下图左半部分的哪种情况,即不同的起始位置,找到的最低点是不一样的,那么这里的解释是,在我们案例的Linear regression中,不会出现这种可能性,而全都是右图哪种形式,即只有一个大坑,放心往里走就好。
这里写图片描述

通过这种方式,我们就能得到想要的function f,来解决我们的需求。

How’s the results?

通过上面的计算,我们成功得到了一个如图函数f,接下来就会发现,并不是所有的点都能拟合函数,这就会造成很大的预测不准的情况,通过Loss Function也能看出,最优解的值依然很大,测试数据的表现也不好,所以我们就要想办法优化。


这里写图片描述

很容易想到,刚刚我们用了一次方程作为model,二次方程会不会更好一些呢,三次方程、四次方程呢?
于是我们做了以下实验,用同样的方法,放到多次方程中,


这里写图片描述

这里写图片描述

overfitting

通过上面四幅图可以看出,虽然当我们增加函数次数时,可以使training data的Average Error越来越小,但是Test data的表现缺不尽如人意,甚至在五次方程时,大大超出了我们的预估。那么这种现象就叫做’overfitting。


这里写图片描述

所以,方程不是次数越复杂越好,所以我们要选择一个最合适的,由上图可以看出,在三次方程中表现最好。


Les's collect more data.

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,686评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,668评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,160评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,736评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,847评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,043评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,129评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,872评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,318评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,645评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,777评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,470评论 4 333
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,126评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,861评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,095评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,589评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,687评论 2 351

推荐阅读更多精彩内容