完全图解RNN、RNN变体、Seq2Seq、Attention机制
https://zhuanlan.zhihu.com/p/28054589
真正的完全图解Seq2Seq Attention模型
https://zhuanlan.zhihu.com/p/40920384
Attention-over-Attention Neural Networks for Reading Comprehension
https://zhuanlan.zhihu.com/p/21677266
本文模型最大的特点就是不仅仅考虑query到document的attention,而且考虑了document到query的attention,即所谓的attention over attention,在Cloze-style阅读理解任务中取得了更好的结果。同时,作者在未来的工作中,准备将该模型拓展到其他任务中。
attention是一个非常好的机制,将很多任务的benchmark都提高到了很高的水平,是一个革命性的模型。围绕attention的变种做工作,提出各种各样的attention,虽然可以刷新各种任务,但终究不再能够将研究水平提升一个level,需要一个新的机制、新的思想来推动nlp的发展。
attention模型方法综述
https://zhuanlan.zhihu.com/p/37835894