1、ELMO
ELMO由一层input层 和 两层双向LSTM 组合而成的，input层可看为embedding层，不过ELMO是通过字符卷积来得到embedding的，不是矩阵相乘；用两个单向LSTM替代一个双向LSTM。
ELMO最重要的一点是，它解决了一词多义的问题。
以word2vector来说，word与vector是一一对应的，输入句子，然后输出句子中每个字对应vector，可以看成查表的过程。
如：输入 画画 ，word2vector就会输出两个一样的vector，但是第一个画是动词、第二个画是名词，他们的vector应该是不一样的，但word2vector并不能区分。即使在训练过程中对embedding矩阵进行更新，它依旧还是一一对应的关系。
向ELMO输入 画画 ，输出的两个向量是经过2层LSTM后的结果，它们是不同的。这是ELMO根据输入句子的语境得到的结果。
ELMo算法过程为:
- 先在大语料上以language model为目标训练出bidirectional LSTM模型;
- 然后利用LSTM产生词语的表征;
ELMo模型包含多layer的bidirectional LSTM，可以这么理解：
高层的LSTM的状态可以捕捉词语意义中和语境相关的那方面的特征(比如可以用来做语义的消歧)，而低 层的LSTM可以找到语法方面的特征(比如可以做词性标注)。
但是，用双向的模型结构去训练语言模型会导致“看到自己”或“看到答案”的问题。后来的预训练语言模型也都在避免或解决这个问题，解决的程度也影响着模型效果。
ELMO选择使用两个单向LSTM代替一个双向LSTM；
GPT选择通过mask得分矩阵避免当前字看到之后所要预测的字，所以GPT是只有正向的，缺失了反向信息；
BERT选择将所要预测的字用[MASK]字符代替，无论你是正向的还是反向的，你都不知道[MASK]这个字符原来的字是什么，只有结合[MASK]左右两边的词语信息来预测。这就达到了用双向模型训练的目的，但也引入了 预训练-微调 不一致的问题。
2、GPT
GPT是一种半监督学习方法，它致力于用大量无标注数据让模型学习“常识”，以缓解标注信息不足的问题。其具体方法是在针对有标签数据训练Fine-tune之前，用无标签数据预训练模型Pretrain，并保证两种训练具有同样的网络结构。
GPT的训练分为两个阶段；
- 1.无监督预训练语言模型；
- 2.各个任务的微调。
模型结构图：
3、BERT
BERT的全称是Bidirectional Encoder Representation from Transformers，即双向Transformer的 Encoder。模型的主要创新点都在pre-train方法上，即用了Masked LM和Next Sentence Prediction两 种方法分别捕捉词语和句子级别的representation。
BERT与GPT非常的相似，都是基于Transformer的二阶段训练模型，都分为Pre-Training与Fine-Tuning两个阶段，都在Pre-Training阶段无监督地训练出一个可通用的Transformer模型，然后在Fine-Tuning阶段对这个模型中的参数进行微调，使之能够适应不同的下游任务。
虽然BERT与GPT看上去非常的相似，但是它们的训练目标和模型结构和使用上还是有着些许的不同：
- GPT采用的是单向的Transformer，而BERT采用的是双向的Transformer，也就是不用进行Mask操作；
- 使用的结构的不同，直接导致了它们在Pre-Training阶段训练目标的不同；
模型结构如下：
