论文解读:Gated Recurrent Unit

GRU算法出自这篇文章:"Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation"。这里介绍下这篇文章的主要贡献。

RNN Encoder–Decoder

文章首先提出一种RNN的自编码结构。相比于一个个单词的预测方法,这种结构能够更有效的学习序列中的隐含信息。这相当于在模型中增加了更多的标签信息。


Hidden Unit that Adaptively Remembers and Forgets

然后,该文章提出了一种自适应记忆和忘记的结构。该结构的主要思想是为每个unit设计记忆和忘记的机制,从而学习到长短期的特征。对于短期记忆单元,reset gate就会频繁的激活;对长期记忆单元,update gate会经常激活。

原文中的解释是

As each hidden unit has separate reset and update gates, each hidden unit will learn to capture dependencies over different time scales. Those units that learn to capture short-term dependencies will tend to have reset gates that are frequently active, but those that capture longer-term dependencies will have update gates that are mostly active.

对比LSTM

相比于LSTM,GRU算法有以下优势:

  • 在保留基本思想(遗忘和更新机制)的基础上,简化了网络结构。
  • 利用update门使每个单元学习长短期特征,减小了梯度弥散的风险。
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 不知不觉地到了秋天,从小到大一直都是爱秋天的,小时候写作文总是有最爱哪个季节的题目,每每都是选最爱秋天。 我喜欢春...
    七七小七阅读 249评论 3 2
  • 忽然听到乔任梁逝世的消息,内心一直都不敢接受,总以为这只是在炒作。 怎么会?如此年轻的与我一般大的生命就如此消逝在...
    然谷中医阅读 452评论 2 1
  • 料峭春风 乍暖还寒 倏尔 滂沱骤雨大作 花团锦簇窸窣碎语 哂笑 慢悠爬行的蜗牛 意外受伤的小生灵 踉踉跄跄 踽踽独...
    蔷薇花的记忆阅读 305评论 2 5
  • 最近家齐总想摔东西。而且摔茶杯果盘,这些易碎的有声响的物件。 刚开始是这样的。 八月十五爸爸妈妈带着家齐去干爷爷干...
    徐末末阅读 347评论 0 2
  • by孤鸟差鱼 不得体的言语 全被残缺用上了 哪来圆满
    孤鸟差鱼阅读 198评论 0 1