BERT的源码文件主要包括下面几个部分
顾名思义，模型的描述主要就是在modeling.py这个文件中
pre_training.py,create_pretraining_data.py,extract_feature.py, tokenization.py是预训练相关的主要主要描述部分
下面，主要是对BERT模型构建的部分进行解析。
其中BERT 模型包括配置和模型两个部分，下面是配置的主要参数
模型的输入包括下面三个部分：
input_ids, #padding过后的token id 序列
input_mask， #输入的mask
token_type_ids，#token的类型，可能会有一些type类型
下面是主要的模型流程：
1.上面三个的shape都是 [batch_size, seq_length]
2.创建embedding_table(embedding_lookup)以及加上position_embedding和token_type_embedding(embedding_postprocessor)
3.创建attention mask ：attention_mask [batch_size, seq_length, seq_length]
4.transformer_model: -> self.all_encoder_layers list of [batch_size, seq_length, hidden_size] #transformer层，输出结果到一个列表
5.self.sequence_output =self.all_encoder_layers[-1] [batch_size, seq_length, hidden_size] #最后一层作为输出
6.self.pooled_output [batch_size, hidden_size] #奇怪的pool操作,只取第一个位置变量
可以看到，主要部分是tranformer_model这个函数
这里，trasformer使用了residual的设计，所以每层输入和输出的hidden_size要一样，这里都是768.
这里先设置了几个维度的缩写
# B = batch size (number of sequences)
# F = `from_tensor` sequence length
# T = `to_tensor` sequence length
# N = `num_attention_heads`
# H = `size_per_head`
下面是attention的过程
1. attention_head_size =int(hidden_size / num_attention_heads)#设置每个head里面权重的维度
2. 每层的transformer 包含三个主要操作，self-attention，intermediate，output
2.1 self-attention : from_tensor [B, F,N*H], to_tensor[B, T, N*H]是两个输入变量，这里两个变量是一样的，所以叫做self-attention
query_layer = [B*F, N*H] #单独的权重转换为多head的一个矩阵
key_layer = [B*T, N*H] #单独的权重转换为多head的一个矩阵
value_layer = [B*T, N*H] #单独的权重转换为多head的一个矩阵
attention_scores = [B, N, F, T] #scaled，这个挺有意思的，先scale
attention_scores += adder (1-mask)*-10000 #在softmax之前转化mask表示方式
attention_probs = softmax 操作<-attention_scores #pad部分的attention值很小（接近0）
drop attention_probs #dropout 操作
context_layer = tf.matmul(attention_probs, value_layer) # [B, F, N, H]
dropout + layer_norm（context_layer + layer_input #residual 操作）
2.2 intermediate 就是一个全连接层
输出[B, N, intermediate_size]
2.3 output 也是一个全连接层，
输出[B, F, N*H]
dropout + layer_norm（context_layer + layer_input #residual 操作）
3.输出最后一层transformer的输出[B,F,N*H] 进行pooler操作（取第一个位置的输出）
然后再进行全连接层+tanh激活作为输出，也就是[B,N*H]
综上，其实BERT主要这么深（12层）也是靠的sum residual的设计。muli-head attention确实有意思，其中的trick很多，比如pool操作，比如scale操作，layer norm操作等。
