Hinge loss

Neil Zhu,简书ID Not_GOD,University AI 创始人 & Chief Scientist,致力于推进世界人工智能化进程。制定并实施 UAI 中长期增长战略和目标,带领团队快速成长为人工智能领域最专业的力量。
作为行业领导者,他和UAI一起在2014年创建了TASA(中国最早的人工智能社团), DL Center(深度学习知识中心全球价值网络),AI growth(行业智库培训)等,为中国的人工智能人才建设输送了大量的血液和养分。此外,他还参与或者举办过各类国际性的人工智能峰会和活动,产生了巨大的影响力,书写了60万字的人工智能精品技术内容,生产翻译了全球第一本深度学习入门书《神经网络与深度学习》,生产的内容被大量的专业垂直公众号和媒体转载与连载。曾经受邀为国内顶尖大学制定人工智能学习规划和教授人工智能前沿课程,均受学生和老师好评。

译自wikipedia

# 基础
The Hinge Loss 定义为 E(z) = max(0,1-z),在图中是蓝色的线所表示的那个,the Log Loss 为红色的线所表示,而 the Square Loss 是绿色 the misclassification error 用黑色表示。

Figure 1
Figure 1

Figure 1 来自 Chris Bishop's PRML book
Hinge Loss 最常用在 SVM 中的最大化间隔分类中[1]
对可能的输出 t = ±1 和分类器分数 y,预测值 y 的 hinge loss 定义如下:

看到 y 应当是分类器决策函数的“原始”输出,而不是最终的类标。例如,在线性的 SVM 中


可以看出当 ty 有相同的符号时(意味着 y 预测出正确的分类)
此时的 hinge loss
但是如果它们的符号相反
则会根据 y 线性增加 one-sided error。

扩展

尽管 SVM 常常被采用 1 v all 或者 1v1 的方式扩展到 multiclass classification[2],事实上还有一种“真正的”多类 Hinge loss 版本,由Crammer and Singer,[3]提出,
[4]中给出定义了。

结构化推断structured prediction中,hinge loss 可以被更远地扩展到结构话输出空间上。采用下面的变体的间隔重形变技术的Structured SVMs ,其中 y 表示 SVM 的参数, φ 是联合特征函数, 而 Δ 是 Hamming loss:

优化

Hinge loss 是一个 凸函数, 所以很多常用的凸优化技术都可以使用。不过它是不可微的, 只是有subgradient

这个是跟线性 SVM 的模型参数 w 相关,其得分函数为

然而,因为 Hinge loss 的导数不是确定型的,

所以人们多采用平滑后的版本进行优化,例如二次平滑


在这篇文章中 Zhang 提出这样的想法。[5]
[Modified Huber loss] 是这个 loss function 的特例 [5],其中


参考:

  1. wikepedia.org
  2. PRML

  1. Rosasco, L.; De Vito, E. D.; Caponnetto, A.; Piana, M.; Verri, A. (2004). "Are Loss Functions All the Same?".

  2. Duan, K. B.; Keerthi, S. S. (2005). "Which Is the Best Multiclass SVM Method? An Empirical Study". Multiple Classifier Systems. [LNCS]

  3. Crammer, Koby; Singer, Yoram (2001). "On the algorithmic implementation of multiclass kernel-based vector machines". [J. Machine Learning Research]

  4. Moore, Robert C.; DeNero, John (2011). "L1
    and L2 regularization for multiclass hinge loss models"
    .

  5. Zhang, Tong (2004). Solving large scale linear prediction problems using stochastic gradient descent algorithms. ICML.

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 一、 一直有种渴望,渴望一个人一个背包,用脚步扣响那些梦里无数回重游的名字:长河落日,大漠孤烟,江南烟雨,青石油伞...
    梅若梅阅读 1,002评论 8 10
  • 每个心中都有一个风筝,然后用一生的时间去追逐。也许追到才会觉得那才是一个健全的自己。 生在一个太平盛世种族平等的...
    宸筱阅读 345评论 0 2
  • ❤❤ 今天中午吃饭的时候,旁边坐着六个女生,叽叽喳喳的讨论着父母儿女之间的话题。 见一个女生调侃道“谁要是做了我姑...
    芃芃女孩阅读 2,148评论 0 1
  • 冰雕玉砌冬已至 岁末年初眺新日 过往皆成寻常事 蓄势待发踌躇志 心存希冀尚未迟 待到春暖花开时 姹紫嫣红挂满枝
    记忆的遥控器阅读 391评论 0 0