代码补全快餐教程(3) - 分词

上一讲我们介绍了预训练模型的输入和输出。
下面我们从最初始的从输入文本到token的转换说起。

分词器的基类是PreTrainedTokenizer。

分词器的创建

分词器可以通过预训练好的模型中加载，这是最简单的一种方式。就像我们在前两节中使用的一样：

tokenizer = GPT2Tokenizer.from_pretrained('gpt2')

也可以通过读取本地保存的模型来创建：

tokenizer = GPT2Tokenizer.from_pretrained('./test/saved_model/')

还可以更进一步地，指定加载的本地文件名：

tokenizer = GPT2Tokenizer.from_pretrained('./test/saved_model/my_vocab.txt')

最后，加载的同时还可以指定一些token的特殊参数，如：

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased', unk_token='<unk>')

分词器的三大核心操作：tokenize, encode, decode

分词器的核心操作只有三个：tokenize, encode, decode。
tokenize负责分词，encode将分词token转换成id，decode将id转换为文本。

首先我们看看分词的用法：

inputs = "let disposable_begin_buffer = vscode.commands.registerCommand('extension.littleemacs.beginningOfBuffer',\nmove.beginningOfBuffer);\nlet disposable_end_buffer = vscode.commands."

tokens = tokenizer.tokenize(inputs)
print(tokens)

打印的结果如下：

['let', 'Ġdisposable', '_', 'begin', '_', 'buffer', 'Ġ=', 'Ġv', 'sc', 'ode', '.', 'comm', 'ands', '.', 'register', 'Command', "('", 'ext', 'ension', '.', 'little', 'em', 'acs', '.', 'begin', 'ning', 'Of', 'Buffer', "',", 'Ċ', 'move', '.', 'begin', 'ning', 'Of', 'Buffer', ');', 'Ċ', 'let', 'Ġdisposable', '_', 'end', '_', 'buffer', 'Ġ=', 'Ġv', 'sc', 'ode', '.', 'comm', 'ands', '.']

encode实际上是tokenize和convert_tokens_to_ids两个操作的组合，相当于：

self.convert_tokens_to_ids(self.tokenize(text))

也就是说，先分词，再将tokens转换成词表中的id。

我们再来个convert_tokens_to_ids的例子：

token_ids = tokenizer.convert_tokens_to_ids(tokens)
print(token_ids)

输出如下：

[1616, 32445, 62, 27471, 62, 22252, 796, 410, 1416, 1098, 13, 9503, 1746, 13, 30238, 21575, 10786, 2302, 3004, 13, 31629, 368, 16436, 13, 27471, 768, 5189, 28632, 3256, 198, 21084, 13, 27471, 768, 5189, 28632, 1776, 198, 1616, 32445, 62, 437, 62, 22252, 796, 410, 1416, 1098, 13, 9503, 1746, 13]

同样，decode也是两个操作的组合，分别为convert_ids_to_tokens和convert_tokens_to_string。相当于：

self.convert_tokens_to_string(self.convert_ids_to_tokens(token_ids))

添加新token

如果模型原有和词表不够大，我们希望增加新token，这当然是可以的。
做法分两步：第一步，通过add_tokens函数添加新token；第二步，使用resize_token_embeddings函数通知模型更新词表大小。

我们来看个例子：

num_added_toks = tokenizer.add_tokens(['new_tok1', 'my_new-tok2'])
print('We have added', num_added_toks, 'tokens')
model.resize_token_embeddings(len(tokenizer))

除了普通token，还可以增加特殊token。这些特殊token的作用我们后面讲原理的时候会进一步介绍。
与普通token唯一不同的是，添加特殊token的函数add_special_tokens需要提供的是字典，因为要指定是修改哪一个特殊项。第二步的resize_token_embeddings函数还是一样的。

我们看个例子：

special_tokens_dict = {'cls_token': '<CLS>'}
num_added_toks = tokenizer.add_special_tokens(special_tokens_dict)
print('We have added', num_added_toks, 'tokens')
model.resize_token_embeddings(len(tokenizer))
print(tokenizer.cls_token)

token的保存

我们添加了新token之后，就需要把我们添加之后的结果保存到持久存储上。
这是通过save_pretrained函数来实现的。保存之后，我们可以通过from_pretrained函数加载回来。

例：

tokenizer.save_pretrained("./save/")

保存之后会生成下面一些文件：

• added_tokens.json: 保存了新增加的token和对应的id:

{"new_tok1": 50257, "my_new-tok2": 50258, "<CLS>": 50259}

• special_tokens_map.json：保存了特殊token列表

{"bos_token": "<|endoftext|>", "eos_token": "<|endoftext|>", "unk_token": "<|endoftext|>", "cls_token": "<CLS>"}

• tokenizer_config.json: 保存了一些分词器的配置信息

{"max_len": 1024, "init_inputs": []}

• vocab.json: 这个是真正的词表，保存了所有的token和对应的id值

{"!": 0, "\"": 1, "#": 2, "$": 3, "%": 4, "&": 5, "'": 6}

• merges.txt: 存放一份对应表

#version: 0.2
Ġ t
Ġ a
h e
i n
r e
o n
Ġt he
e r
Ġ s
a t
Ġ w
Ġ o
e n
Ġ c
i t
i s
a n
o r
e s
Ġ b
e d
Ġ f
in g
Ġ p
o u
Ġa n
a l
a r
Ġt o
Ġ m
Ġo f
Ġ in
Ġ d
Ġ h
Ġan d

另外，tokenizer还有一个save_vocabulary函数，不保存新增的token，所以只有vocab.json和merges.txt.

例：

tokenizer.save_vocabulary('./save2')