评论较多，简书回复也不太方便，如有问题麻烦关注下面的公众号，加入我的微信群一起讨论。公众号ID：小小挖掘机
发简信
IP属地：北京
背景互联网上的多媒体数据正在迅速增长，每分钟分享的视频数量激增。 曾经以文本为主的网站已经转变成以照片和视频为主。计算机视觉社区几十年来一直致力于视频分析，并解决了不同的问题...
这讲主要讲validation， model selection， cross validation。 在之前的课程中Eout等于Ein加上过拟合的惩罚项。 正则化就是在估计...
这一节主要讲梯度更新与BP算法。 我们将把所有的样本的误差求平均然后进行更新的算法称之为batch gradient descent。一次只更新一个样本的算法称之为stoch...
在VC理论中， 仅仅考虑了Eout < Ein + \delta, 其中\delta 与growth function， N相关， 但是却没考虑到target functio...
这一节主要讲了overfitting， 主要来源自noise， 而noise来源主要有二： 其一是数据本身带有noise， 其二是模型本身的hypothesis set在拟合...
非线性变换。对于线性不可分的情况， 可以进行非线性变换(可能增加VC dimension）。变换之后的坐标之间是有冗余的， 有可能存在关联关系， 所以是小于等于号。nonli...
用pythonic方式思考 确认使用的python的版本， 优先使用python3 遵守PEP8风格， 保护属性_leading_underscore, 私有属性__doub...
这一节主要探讨kernel的方法，以及SVM如何做到some error tolerate—— soft margin。 我们将拉格朗日函数表达成在z空间的形式， 我们需要解...
在线性可分的例子中， 我们也是希望margin越大越好， 它能给予更大的泛化能力margin 接下来就是寻找w的过程了。 我们做了两个预先的假定：就是对w进行normaliz...
在这之前整理一下之前的脉络。 首先我们一直强调的是让Ein尽量靠近Eout， 最开始用了Hoeffding不等式， 其实右边可以看成是所有的Error area相加？最开始是...
VC dimension就是假设空间能打散的最多的点， 也就是刚好比break point小1.definition 因此， growth function也被VC dime...
这节课的重点是证明growth function可以是polynomial的并且可以代替Moutline 还是以lecture 5 的Puzzle为例子， 来证明在break...
以期末考试为例子，我们考试前做了大量的习题以及校对答案（training），就是为了在期末考试取得好的成绩（testing）。Ein指的是我们的成绩， Eout是我们对课程的...
一般的非线性变换学习流程。从空间X变换到空间Z；在空间Z进行学习； 若有必要， 可将空间Z的boundary变换回到空间X。nonlinear Error measure. ...
在数字识别的问题上， 原始的16x16的特征可能过大， 可以选择像素的密集程度、对称性作为两个特征来分类digit 为了防止性能损失， 选择最好的模型pocket linea...
该图的实验贯穿了整个lecture。 从一个bin中sample出来的N个样本样本， 然后从样本学习出v， 并且希望v≈u (u是bin中的red marble的比例）exp...
遇到一个问题， 首先问是否存在pattern， 没有pattern也就没有学习了；然后不能用数学公式显式的表达出来， 如果可以， 也不用学习了；保证有数据来学习essence...
