从Attention到Transformer

前段时间在做命名实体识别项目，用到了Bert模型，最终的效果非常好。看了Bert的论文，知道Bert用到了双向Transformer作为特征提取器，效果远比RNN和LSTM要好。一直没有时间看看这个黑盒子里面到底长什么样，最近有时间把这些内容整理下。

1. RNN中的encoder-decoder

1.1 流程

encoder 将一句话的每个词进行embedding，可以是word2vec或是Glove，将每个embedding作为每个阶段的输入，使用上个阶段的hidden state及当前阶段的输入计算当前阶段的hidden state。
decoder 阶段的起始输入是encoder阶段最后一个hidden state，然后利于其计算输出y值

encoder_decoder.png

1.2 缺点

由于RNN机制在处理较长序列会存在梯度消失或梯度爆炸的情况，所以随着长度较长会导致精度的损失
RNN训练每一个step都依赖上个step，无法做到并行计算，所以计算速度较慢

1.3 attention机制的加入
一句话概括attention，就是在解码阶段，当前位置单词y_j与编码阶段哪个单词x_i的相关性最大。这种方式相对于RNN来讲，不仅仅将encoder的内容都存在定长的hiden state中，其对于长距离的捕获效果要更好。

# 很直观能感受到 【china】和【中 国】的相关性更大
我 爱 中 国 -> I love china

1.4 具体计算流程

image.png

计算encoder阶段每个hidden state(h₁,h₂,...h_T)
设e_ti=a(h_i,s_t)表示解码第t个阶段与编码第i个阶段的相关性。向量形式 $\vec{e_{t}}=(a(s_{t},h_{1}),a(s_{t},h_{2}),...a(s_{t},h_{T}))$
对 $\vec{e_{t}}$ 进行softmax，将权重值归一化 $\vec{α_{t}}$ =softmax( $\vec{e_{t}}$ )
计算上下文向量 $\vec{c_{t}}= \sum_{1}^{T} αh$
由此， $h_t=f(s_{t-1},y_{t-1},c_{t})$ , $y=g(y_{t-1},h_{t},c_{t})$ ,与原始的RNN中的h相比，又增加了上下文向量c_i

2. 从attention到Transformer

2.1 模型拆解

整体结构如下图

image.png

以机器翻译为例，我们已知输入，希望得到输出

image.png
模型是由encoder和decoder两部分构成

image.png
encoders和decoders是由encoder和decoder堆叠而成

image.png
每个encoder的结构是由self-attention及前馈神经网络

image.png
每个decoder有三层结构：最下面一层是self-attention，中间是encoder-decoder attention，最上层是前馈神经网络

2.2 self-attention自注意力机制

是一种方法，可以捕获当前句子中每个词与句子中其他词的关联关系

# it指代的是animal，所以两者的相关性较高
The animal didn't cross the street because it was too tired

2.3 self-attention计算细节

假设我们输入的序列是Thinking和Machines，其中他们的embedding分别为 $X_{1}$ 和 $X_{2}$ ，根据 $^{W^{Q} }$ , $^{W^{K} }$ , $^{W^{V} }$ (这三个矩阵是训练得到的)计算得到Q，K，V。

Q，K，V是抽象概念，个人理解就是q相当于待查询的词，k相当于待查询的所有词，v就是真实值。

image.png

attention计算公式如下，其中 $d_{k}$ 是
$Attention(q,k,v) = Softmax(\frac{q*k}{\sqrt{d_{k}} })v$

具体例子如下：

分别计算q与k的内积得到score，然后除以8(论文上的参数，可以修改)

image.png

将score/8的结果计算softmax

image.png

对softmax后的概率对所有时刻的v加权平均得到z，这就是第1时刻的结果

image.png

2.4 矩阵方式进行计算
上面方法是逐条进行遍历的，效率会低，实际的计算过程如下。
X的每一行代表一个词的embedding，Q，K，V的每一行代表任何一个时刻的输入 $x_{i}$

image.png

得到Q，K，V矩阵之后计算Q和K的score，然后除以 $\sqrt{d_{k}}$ 再进行softmax,最后加权平均得到输出

image.png

2.5 多头注意力机制
上面是一组self-attention，多头这个翻译总感觉怪怪的。“多头”其实是copy了多份QKV，这样做可以关注不同的上下文，计算方式是一样的。

image.png

每个头都会生成一个z矩阵

image.png

由于后面前馈神经网络的输入还是z，所以需要将其concat之后再乘以一个矩阵

image.png

将上面的串连起来

image.png

2.6 decoder部分
decoder第一级输入的q，k，v均来自于上一层的输出，但是加入了Mask操作，即防止特征穿越。

第二级的query来自于前一级decoder的输出，但是key和value来自于encoder的输出。

2.7 位置编码
对于输入向量，Transformer其实考虑到了位置参数，因为完全相同的词出现在不同的位置意思有可能会截然相反，所以对于encoder和decoder第一层输入是由embedding+position embedding得到的，位置编码不同的奇偶数编码方式也是不一样的,偶数使用正弦函数，奇数使用余弦函数
$PE(pos,2i) =sin(\frac{pos}{10000^\frac{2i}{d_{model} }})$
$PE(pos,2i+1) =cos(\frac{pos}{10000^\frac{2i}{d_{model} }})$

image.png

参考

[1] Attention机制详解
[2] Attention学习_强化篇