[机器学习入门] 李宏毅机器学习笔记-13 (Semi-supervised Learning ;半监督学习)
VIDEO |
---|
Introduction
这里写图片描述
Why semi-supervised learning helps?
这里写图片描述
Semi-supervised Learning for Generative Model
Supervised Generative Model VS Semi-supervised Generative Model
这里写图片描述
这里写图片描述
Step
这里写图片描述
Why?
这里写图片描述
Low-density Separation
这里写图片描述
Self-training
这里写图片描述
这里写图片描述
Entropy-based Regularization
这里写图片描述
Outlook: Semi-supervised SVM
这里写图片描述
Smoothness Assumption
核心思想:近朱者赤,近墨者黑
这里写图片描述
这里写图片描述
Classify astronomy vs. travel articles
这里写图片描述
这里写图片描述
更多的数据连在一起,很难分类,那么如何做呢?
Cluster(群集 ) and then Label
这里写图片描述
这种方法不一定made sense ,需要class很强。
But,How to know x1 and x2 are close in a high density region (connected by a high density path)
还有另一种方法:
Graph-based Approach
这里写图片描述
Graph Construction
这里写图片描述
这里写图片描述
怎样在Graph 中定量地表示平滑度
这里写图片描述
将该式子整理一下,换个形式
这里写图片描述
如此,让smoothness 影响Loss,as a regularization term
这里写图片描述
smoothness不一定要放在output上,放到任何一层都可以。
Better Representation
去蕪存菁,化繁為簡
Looking for Better Representation
这里写图片描述