一、介绍、线性回归、线性代数

这个系列文章首发于我的知乎专栏:课后有感;感兴趣的同学可以关注一下,希望可以多多交流。

https://zhuanlan.zhihu.com/kehouyougan

前言

第一周很自然,肯定是要从Introduction开始。在简单阐述吴恩达的Introduction之前,我先来简单做一下我写这系列文章的Introduction吧。吴恩达的《Machine Learning》和《Deep Learning》的两门课都非常优秀,我都非常喜欢,深入浅出,非常适合刚入门的新人。但是课程结束之后,到了应用层面,很多细节我都没有办法记住,十分头疼。想来,我自己有写读书读后感、观影观后感的习惯,那为什么不写课后的课后感呢?完完全全用到了费曼的学习方法,用自己的语言阐述一遍课程内容,这种记忆法的效果是最好的;且在工作中如果有些内容需要温习,我也有处可寻。所以,从今天开始,我要把之前课程重温一遍,完成全课程的课后感,当然更是为了塑造我自己坚持不懈的优秀品格。开始,加油!

目录

一、主要内容

二、个人感受

三、实际应用

正文

一、主要内容

第一周主要分成了三个部分Introduction、Linear Regression with One Variable、以及Linear Algebra Review。非常基础,不需要了解非常难的数学常识,其中的线性代数虽然是大学数学的部分,但是内容依旧非常非常初级,就连量子力学里反复使用的本征值都没有出现,可见内容之简单。

1. Introduction

首先吴恩达阐述了什么是机器学习,吴恩达借用了Arthur Samuel和Tom Mitchell的概念。其中Tom Mitchell说得更加符合现代的标准,他认为机器学习就是一个程序,可以通过经验获得提高,从而处理一些任务,而且有相应的标准可以衡量。这边说一点题外话,之前在quora上看到一种说法很有意思,“机器学习是现阶段实现人工智能最可行的办法”。

机器学习比较粗犷的分类方法分为监督学习(Supervised Learning)和非监督学习(Unsupervised Learning)。解释监督学习的时候,吴恩达使用了房价与房屋面积两个变量之间的正相关来解释。通过输入大量房价和房屋面积的数据,然后匹配线性模型或者对数模型,最后选择一任意房屋面积(即使不在数据库内也可以),计算机就可以匹配到对应的房价。这种有连续数据的机器学习方法叫做回归(Regression)。还有一种方法叫做分类(Classification)。相对于输入不同的条件,获得不同的答案,分类则是输入不同的值只会获得类似“是”或“否”这样简单的答案。

非监督学习(Unsupervised Learning)即与监督学习相反。在不需要输入大量数据的情况下,计算机依旧可以通过某些特定的方法去解决问题。聚类(Clustering)是非监督学习中最常用的方法之一。不是Coursera的课程,而是在吴恩达斯坦福大学的课程上,吴恩达举的例子非常有趣。就是让计算机通过图片中的特征勾勒出不同物体的边框。结果也非常好,一家人在金门大桥前的合影被计算机勾出了线条,几个人和金门大桥的线条明显可以被辨认出来。还有一种方法就是非聚类(Non-Clustering)。其适用于在复杂场景中辨别出某个特殊的值,吴恩达使用了鸡尾酒会算法(Cocktail Party Algorithm)进行了具体展示。在嘈杂的鸡尾酒会,计算机可以通过非监督学习识别出酒会中某位男士的声音,并消掉背景噪音,只让我们听到该男士的声音。

2. Linear Regression with One Variable

这一部分被分为两小节《模型和成本函数(Model and Cost Function)》和《参数学习(Parameter Learning)》。

《模型和成本函数(Model and Cost Function)》

开始是构建一个模型,吴恩达再一次举出了房价与面积的例子(在之后《深度学习》的课程中他还会继续使用该模型)。当我们输入m个特征值x,输出变量y。当输入的数据足够大了之后,我们可以获得相对更加准确的答案,当然这种简单的模型还非常初级。成本函数(Cost Function)是一个非常重要的概念,通常我们用J来表示,在之后的《深度学习》中也会出现,这是用来检验我们假象函数的准确度的。其中通过平方差来计算是最准确的一种方法。

在课程中的例子非常好懂,当假想函数与输入数据完全相符时,成本函数会为零,计算可得。这是我们最理想的情况,因此在日后我们追求的目标就是成本函数最小。得到零是不可能的,在大数据普及的今天成本函数为零简直是妄念。之后我们可以为假想函数取不同的模型参数,相应获得的x与y可以算出不同的成本函数值J。取最小值J的模型参数,也就是例子最开始使成本函数为零的那个参数。

上述例子是最简单的模型,即y=kx。相对复杂一点,模型可能为y=kx+c。当我们同时调整k和c就会获得非常多种组合方式,再加上最后的解J,我们需要一个三维图像才能表示,图片会像一个盆,当然二位也不是不可以。我最近在玩的《旷野之息》中需要看海拔地图,转换成二位图像就是这样。在我们获得的二维图像中,盆地的中心点就是我们需要获得最小值,是我们最理想模型参数之所在。

《参数学习(Parameter Learning)》

梯度下降(Gradient Descent)非常非常重要,应该说是贯穿整个机器学习的重要线索之一。既然有梯度(Gradient),那就说明其中就有多项微积分的应用。承接上文,当我们在海拔地图边缘的时候,我们如何才能找到最低点呢?朝着最低点走过去,直到最低点即可。其中需要注意alpha值,也就是梯度下降时的学习效率,不可以太大,步子太大容易扯蛋。也不能太小,否则时间会很久。在线性回归中我们可以使用梯度下降。由于线性回归是一个凸函数,所以必定有一个局部最优解。当我们用梯度下降找到最优解之后,我们的线性回归将是最合适的方案。同时我们可以批量(Batch)进行梯度下降,即对所有的样本进行求和计算。

3. Linear Algebra Review

对线性代数的一些基础内容进行简单的复习,没有任何高深的概念。讲述了矩阵和向量的定义,其实都不需要浪费时间看。向量的加法、减法、以及如何与标量相乘,很基础,跟四则运算差不多。矩阵的乘法,注意一下前后顺序不能颠倒,形状记得变化也没什么。最后的反函数概念与倒数类似。旋转矩阵时则要注意位置,千万不能填错。

二、个人感受

第一周的内容很简单,更像是进行科普,而不是在学习知识,这应该是最轻松的学习氛围了吧。学习的确就是应该在这种轻松的氛围下进行。最重要的是每个视频都很短,平常午休时间,或者下午茶时间完全可以拿出一、两个视频进行学习。如果我可以善于利用时间的话,每周一篇,甚至于一周两篇都是有可能的,当然我本人的自控力没有达到这么厉害的程度,能保证一周两篇已经很不错了。

回到课程内容,因为我个人相对来说比较热爱学习,所以会在Coursera、网易公开课上东看看西看看。绝大多数课程第一周永远都是最让人兴奋的,因为教授们总是会泛泛而谈,大炒特炒各种概念。再将一些相应的实验室应用拿到课堂上来,让学生们仿佛置身于马上就要学会“原力”的兴奋状态。随着课程的深入,大家逐渐发现内容的局限性,意识到即使学会了也并非无所不能。期末考试之后才发现自己学到的东西只能解题,于是有些学生们会开始鼓吹“读书无用论”。实际上双方都有过度夸张。

我们要意识到技术还不是无所不能,但也可以做到很多事情。比如现在AlphaGo Zero可以100:0地吊打AlphaGo,which已经吊打了人类界的极大好手,虽然局限性还是很多,但是进步我们都有目共睹。积极结合监督学习和非监督学习的semi-supervised Learning,吴恩达在努力推动的迁移学习(Transfer Learning)在未来都有非常大为技术进步的空间。技术的未来还是有非常多值得我们去想象的,毕竟未来逻辑脑基本可以靠AI就能代替掉了,我们真正重要的想象力才是我们需要培养的。而且在业界,其实大家也都有共事,场景的选取比算法的选取更加重要。学习机器学习的应用在将来会成为非常必要的人生过程。

三、实际应用

这一周的内容没有办法被应用,因为都是概念。

2017年10月28日

不过有一个可以尝试一下,如果我要是能获取《旷野之息》的地图信息,其实我可以自己去实现最短路径计算,跟谷歌地图一样方便。

还有就是可以尝试针对《旷野之息》的强化学习,让计算机学习如何让林克大杀四方,或许可以打破其他玩家最快通关记录。

这些想法还是太初级,之后希望有更多的。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,126评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,254评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,445评论 0 341
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,185评论 1 278
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,178评论 5 371
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,970评论 1 284
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,276评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,927评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,400评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,883评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,997评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,646评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,213评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,204评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,423评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,423评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,722评论 2 345