深度学习小结

因为最近刚好要对深度学习做个报告,这里做个小结。基本知识网上一搜都能找到,我只按着自己的理解从下面三个部分来说明神经网络的一些通性。

发展溯源

深度学习发展到今天,经过一波三折,追溯它的起源其实是对它的原理,背景以及未来的发展做些了解,从而更好地去理解神经网络演变到深度学习,这些算法之间的通性。

先来看一张图:

1

图中可见三个深度学习发展的低谷,同时也是兴起的转折点,先来看1943年的MCP人工神经元模型。

2

这个构架就已经涵盖了现今很多神经网络的特点,权重与输入的乘积之和,通过激活函数输出等等,1958年Rosenblatt用它发明了单层感知器,但1969年感知器被Minsky证明本质是线性模型,发展就此搁浅。

到1986年Hinton发明了BP神经网络,采用Sigmoid函数进行非线性映射,有效解决非线性分类的问题,但是在1991年BP算法被指出有梯度消失的问题,陷入冰点。

2006年Hinton提出了深层网络训练中梯度消失问题的解决方案:无监督预训练对权值进行初始化+有监督训练微调。至此,深度学习就不断地引起人们的重视,蓬勃发展至今。参考

每一层的输入输出

先来看几个网络。

BP神经网络

3

可以看到,输入是上一层输出的值分别与权重相乘的和,而输出是输入通过激活函数变化后的值,BP中常用的激活函数是Sigmoid函数。

深度信念网络(DBNs)

4

这个网络是由多层的受限玻尔兹曼机(RBM)组成,多层的无监督学习和顶层的有监督学习。是为了解决BP神经网络中出现的梯度消失的问题而出现的,从之前的发展历程中也可以看到。

同样的,它的输入输入输出和BP神经网络是一样的,不过激活函数的选择可以是不一样的,不同的是它的训练机制,我们下面再讲。

卷积神经网络(CNN)

卷积神经网络适合于用作图像识别分类上,输入是一个(pp3)的矩阵,p的大小由图像的像素大小决定,矩阵上的每一个值都是0-255之间的值,熟悉rgb三色通道的同志们应该了解这个,这也解释了矩阵厚度为什么为3。

至于输出,输入矩阵通过滤波器来对图像的特征进行提取,不同的滤波器得到的特征不同,得到的输出也就不同,看下图。

5

图中两个不同的滤波器,得到了两个不同的矩阵(绿色),其实这种从高维图像中提取低维信息的过程也就是卷积的目的。参考1参考2

如何训练

关于训练过程,有一个损失函数的概念,BP要使损失函数尽量小,那么需对损失函数求导,求极值,这里采用梯度下降的方式调整权重。但是会有局部极小值和梯度消失的问题。

而深度信念网络,在受限玻尔兹曼机无标签训练的过程中,是希望每一层前向传播的概率值和后向传播的概率值尽量相等。可能难以理解,看张图:

6

在重构阶段,第一隐藏层的激活值成为反向传递中的输入。这些输入值与同样的权重相乘,每两个相连的节点之间各有一个权重,就像正向传递中输入x的加权运算一样。这些乘积的和再与每个可见层的偏差相加,所得结果就是重构值,亦即原始输入的近似值。由于RBM权重初始值是随机决定的,重构值与原始输入之间的差别通常很大。可以将r值与输入值之差视为重构误差,此误差值随后经由反向传播来修正RBM的权重,如此不断反复,直至误差达到最小。

经过无监督训练之后,再通过有监督的训练队全局的权重进行调优。参考

卷积神经网络的训练也是一个是损失函数最小的过程,但是具体的话我还不理解。以后有机会再来写。

最后

深度学习深究起来真是要掉不少头发,网络安全领域,我还是希望只把它当成数据分析的工具用,比方说深度学习态势感知,恶意代码检测。
还是先学会用吧,转化成有价值的东西,总比空想强。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,384评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,845评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,148评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,640评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,731评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,712评论 1 294
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,703评论 3 415
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,473评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,915评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,227评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,384评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,063评论 5 340
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,706评论 3 324
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,302评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,531评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,321评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,248评论 2 352

推荐阅读更多精彩内容