什么是Transformer
Transformer是基于Self-attention注意力机制的一种网络结构,同时其网络结构也沿用了seq2seq的主体结构,由Encoder-Decoder流程组成,包含了multi-head(多个self-attention并行堆叠而成)、加入了位置信息编码以及mask。
Transformer的目的
Transformer最早的提出是由google2017年的一篇论文《Attention is All your need》其提出的最初目的是为了解决RNN中串行输入、串行编解码导致的速度慢的问题,RNN要等上一个输入编码完成后,才能对下一个输入进行编码,同理,解码过程也是如此,所以,Transformer提出了一种并行的结构来解决该问题。