距离与范数

什么是距离?

举例一:计算两点之间直线的长度

初高中就学习的欧几里得距离,根据勾股定理a^2+b^2=c^2,可以计算出斜边长度为c = \sqrt{a^2+b^2},扩展到三维,n维,得到欧式距离公式=\sqrt{\sum_{i=1}^n(x_i-y_i)^2}

举例二:两个地点的距离

从地点A走到地点B的距离计算,不能使用欧几里得距离了,没办法走蓝色这条直线。这里使用曼哈顿距离,把每一小段的距离都加起来
=\sum_{i=1}^n |x_i -y_i|
由于距离是必大于0的,所以要加上绝对值。

举例三:棋子的最短距离

棋盘上某棋子可以前后、左右、斜向行走,从A点到B点的最短距离是=max\{|x_1-y_1|, ..., |x_n-y_n|\},我们称这种距离度量为切夫雪比距离。

更多距离的解释

通过上面三个例子,我们可以定义距离。定义一个东西我们往往把它的属性摘出来,例如定义水果,我们提取出“可食”、“含水分”等特性。所以我们定义距离满足“非负性”、“对称性”、“三角不等性”。

什么是范数?

范数就是点到零点的距离。所以前面的y_i=0

欧几里得范数 = ||x||_2 = \sqrt{\sum_{i=1}^n x_i^2}
曼哈顿范数 = ||x||_1 = \sum_{i=1}^n |x_i|
切夫雪比范数=||x||_{\infty} = \max\{|x_1|, |x_2|, ..., |x_n| \}

我们来定义一下范数。
在距离定义的基础上,多了数乘要求。就像热带水果和水果一样,热带水果比水果多一个属性限制。所以范数是属于距离的。使用符号||x||表示x的范数。

我们发现欧几里得范数、曼哈顿范数、切夫雪比范数是有规律的,满足公式(\sum_{i=1}^n |x_i|^p)^{\frac{1}{p}}
当p=1时,就是曼哈顿范数,因此记录为||x||_1,也成为L1范数
当p=2时,就是欧几里得范数,因此记录为||x||_2,也成为L2范数
当p=\infty时,就是切夫雪比范数,因此记录为||x||_{\infty}L_{\infty}范数

ML中距离的度量

L1 Loss和L2 Loss

回归问题中,模型学习历史数据,然后做出预测,如何判断预测向量和实际值的距离呢?
MAE就是在曼哈顿距离的基础上加了mean(求均值),也被称为 L1 Loss
MSE在欧几里得距离上做了延申,也被称为L2 Loss

更多回归度量指标

L1,L2正则

在曼哈顿范数(L1范数)和欧几里得范数(L2范数)上展开,在原本损失J(w)的基础上,加了限制。

小结

指标 公式 备注
曼哈顿距离 \sum_{i=1}^n |x_i -y_i|
L1 损失 \frac{1}{n}\sum_{i=1}^n |y_i - \hat{y_i}| MAE
L1 范数 \sum_{i=1}^n |x_i| ||x||_1
L1 正则 J(w) + c||w||_1
欧式距离 \sqrt{\sum_{i=1}^n(x_i-y_i)^2}
L2 范数 \sqrt{\sum_{i=1}^nx_i^2} y_i=0
L2 损失 \frac{1}{n}\sum_{i=1}^nx_i^2 ||w||_2
L2 正则 J(w) + c||w||_2^2
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 218,525评论 6 507
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,203评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,862评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,728评论 1 294
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,743评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,590评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,330评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,244评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,693评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,885评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,001评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,723评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,343评论 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,919评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,042评论 1 270
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,191评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,955评论 2 355

推荐阅读更多精彩内容