1. 文本预处理
Step1 Tokenizer
keras.preprocessing.text.Tokenizer(num_words=None,
filters='!"#$%&()*+,-./:;<=>?@[\]^_`{|}~',
lower=True, split=' ',
char_level=False,
oov_token=None)
文本标记实用类
该类允许使用两种方法向量化一个文本语料库： 将每个文本转化为一个整数序列（每个整数都是词典中标记的索引）； 或者将其转化为一个向量，其中每个标记的系数可以是二进制值、词频、TF-IDF权重等。
参数
- num_words: 需要保留的最大词数，基于词频。只有最常出现的 num_words 词会被保留，即词典中会保留num_words个词。
- filters: 一个字符串，其中每个元素是一个将从文本中过滤掉的字符。默认值是所有标点符号，加上制表符和换行符，减去 ' 字符。
- lower: 布尔值，是否将文本转换为小写。
- split: 字符串，按该字符串切割文本。
- char_level: 如果为 True，则每个字符都将被视为标记。
- oov_token: 如果给出，它将被添加到 word_index 中，并用于在 text_to_sequence 调用期间替换词汇表外的单词。
Tokenizer类的属性
- word_counts: OrderedDict()类型，用来记录每个词在语料库中出现的次数，其中词是字典的key，出现的频次是value
- word_docs: defaultDict()类型，用来记录有多少个doc中含有某个词，即统计词的DF(document frequency)，注意字典中value的值是从1开始的，因为0用来留给做padding的时候使用。
- word_index: dict()类型，字典的key是语料库中的词，这些词包括未登陆词OOV，value对应的是词的索引，索引是根据词频进行排序后的
- index_word: dict()类型，key和value与word_index相反过来
默认情况下，删除所有标点符号，将文本转换为空格分隔的单词序列（单词可能包含 ' 字符）。 这些序列然后被分割成标记列表。然后它们将被索引或向量化。0 是不会被分配给任何单词的索引。
Step2 fit_on_text
keras.preprocessing.text.Tokenizer(num_words=None,
filters='!"#$%&()*+,-./:;<=>?@[\]^_`{|}~',
lower=True, split=' ',
char_level=False,
oov_token=None).fit_on_texts(texts)
在实例化Tokenizer类后，使用fit_on_texts(texts)，来更新Tokenizer对象的词典和词频信息。
Step3 texts_to_sequences
keras.preprocessing.text.Tokenizer().texts_to_sequences(texts)
将文本序列转换成整数的索引序列。
Step4 pad_sequences
pad_sequences(sequences, maxlen=None, dtype='int32',
padding='pre', truncating='pre', value=0.):
对序列做填充(padding)或修剪(truncating)
因为每个sentence的长度都不一样，在将其转换为integer后，为了后续的批次训练，需要对变长的sentence做填充或修剪。
- maxlen: 填充到的最大长度
- truncating: 对序列做修剪，可以从前开始修剪，即truncating='pre'，也可以从后开始修剪，即truncating='post'
- padding: 对序列进行填充，可以从前开始填充，即padding='pre'，也可以从后开始填充，即padding='post'
- value: 填充的值
返回值: 一个shape=(len(sequences), maxlen)的numpy数组
Step5 训练
model.fit(self,
x=None,
y=None,
batch_size=None,
epochs=1,
verbose=1,
callbacks=None,
validation_split=0.,
validation_data=None,
shuffle=True,
class_weight=None,
sample_weight=None,
initial_epoch=0,
steps_per_epoch=None,
validation_steps=None,
**kwargs):
- x,y 分别为inputs和labels。
- shuffle: 是否在每个epoch中打乱数据再进行训练。注意，打乱数据的操作是在将数据分成训练集和验证集之后进行的，即只是打乱训练集的数据。
- callbacks: 回调函数。可以使用early_stopping()的回调函数，可以在过拟合前停止训练。
Step6 保存和加载模型
- 保存模型和tokenizer
注意：保存模型的时候，应该同时保存tokenizer已备后续使用。在保存模型的时候，需要将其保存为hdf5的文件格式。
with open('model/tokenizer.pickle', 'wb') as f:
pickle.dump(tokenizer, f)
model.save('model/model.h5')
- 加载模型和tokenizer
from keras.models import load_model
with open('model/tokenizer.pickle', 'rb') as f:
tokenizer = pickle.load(f)
model = load_model('model/model.h5')
