之前两天也写了word2vec和Transformer，其实都是在为今天的内容做铺垫。最近正好使用bert做了命名实体识别项目，借这个契机分享出来，希望能帮到有需要的人。
自然语言的表示
之所以之前自然语言处理的发展没有达到CV领域，很大一部分原因是很难把抽象的语言用准确的数学方式表示。
one-hot 只能说对词进行编码，毫无“相似度”的概念，例如【川老师】和【特朗普】的距离与【川老师】和【苍老师】的距离是一模一样的
word2vec 将高维的one-hot“嵌入”到低维空间，使得向量更加稠密，这样做的好处是可以很方便的计算相似度，但是最大的缺点是无法解决一词多义的问题。
张三说的【川普】真可爱
【川普】在地球和太阳之间反复横跳
-
ELMO
ELMO是“Embedding from Language Models”的简称。从下图可以看到，ELMO是一个多层双向LSTM架构，但是双向并不是真正意义上的双向，而是两个单向的LSTM作为特征提取器。ELMO不仅学到了单词特征，还学习到了句法特征以及语义特征，这就能较好地解决单词在不同的上下文有不同的含义。
image.png -
GPT
GPT是“Generative Pre-Training”的简称。这个模型最大的特点是使用了多层单向Transformer的结构，Transformer的特征提取能力要远远的优于LSTM，且Transformer易于并行计算，能够很好地捕获长距离的信息。
image.png -
BERT
image.png
BERT的paper标题叫Pre-training of Deep Bidirectional Transformers for Language Understanding，人工发动self-attention,这个模型的重点在“Deep”,“Bidirectional”。没错！就是深层双向Transformer。这个模型真的是一个很大很重的模型，base版本的参数里有1.1亿，Large版本的有3.4亿（突然想起最近的GPT3的1700亿参数，可怕！！！）
其实这些模型都是为了能获得更好的语言表示，有了好的原材料，才能应用到下游的各项工作中发挥出好的效果。
简述BERT原理
BERT是一个两阶段模型，包括pre-training(预训练)和Fine-tuning(微调)。
预训练阶段BERT模型有两个任务
- Masked LM
对15%的词挖坑做完形填空。这15%的词中有80%被替换为[mask],有10%被随机替换成其他单词，还有10%保持不变。 - Next Sentence Prediction (NSP)
根据上文预测下文，其中有50%是正确的，另外50%从预料中随机找出来。这个任务为了更好的学习到句法
BERT模型在微调阶段也要按照BERT要求的形式进行输入，包括Token Embeddings，Segment Embeddings Position Embeddings
对于下游的任务，只需要按照论文中的方式进行改造即可。对于我项目中的命名实体识别属于文本分类任务，按照第四种方式进行改造即可。
项目背景
简单聊下我们的项目，通过爬虫将一批非结构化的房源文本数据抓取下来，然后将其解析成的结构化数据方便下游业务线使用。
项目实战总结
网上已经有很多教程了，我就不在代码层面写太多了，主要把开发流程中的经验梳理一下供大家参考
打标签
对于NER任务任务来讲，需要对每个字进行BIO标注，不知道其他同学用的是什么工具，我很想安利一个工具叫doccano,安装贼麻烦，但是用起来真香。-
总体流程
开发自己的数据处理类，这个类要继承DataProcessor类，将训练集，验证集，测试集转换为example。example包含- guid
数据的编号 - tokens
[cls]是文本的开头标识，[sep]是每句话的结尾 - input_ids
input_ids是字典中该字对应的index - input_mask
1代表真实输入，0代表padding的内容 - segment_id
BERT允许输入两句话，第一句话用0表示，第二句话用1表示，由于NER任务只需要1句话，所以都是0. - label_id
与input_ids类似，label的编码
- guid
将example转为feature然后存入到tf-record落地，后续训练和预测都是用tf-record作为输入
-
OOM的解决
- 减少max_seq_length
- 减小train_batch_size
- 使用合适的预训练模型，如果Large不行就换base
预测效率
预测1条数据需要15秒左右的时间，批量预测6000条左右的数据大概在90秒左右。
