假设两个聊天机器人放在一起，它们会发生什么有趣的事情呢？
带着这个有趣的想法，我决定训练两个聊天机器人。
首先，第一步，当然是准备训练好数据。
这里在网上找一个小说，然后把特定人物的说话内容读取出来，并简单处理一下。
这种专注于聊天的小说非常适合用来制作聊天数据，给出一段让大家感受一下。
八云紫：“这是什么东西？”
斯卡哈：“不清楚，你又是什么人？”
八云紫：“人？哈哈，我可不是人类！”
斯卡哈：“既然如此，那你就又是想找死的异类喽？”
阿库娅：“哎呀，好好说话，火气别这么大！”
艾斯德斯：“嗯哼，看来这是个很有趣的东西！”
武则天：“这不是有趣，这是太有意思啦！”
选取的角色的上一句别人说的话可以当成input ，自己的这句则是output。
因为下载下来的文本是这样的
1.PNG
所以我们把它们合并一下。
import os
path = '文本'
content = str()
for filename in os.listdir(path):
with open(path+'/'+filename,'r',encoding="gb18030",errors="ignore") as file:
content = content + '\n' + file.read()
with open(path+'/'+'合并文本.txt','w',encoding="gb18030",errors="ignore") as file:
file.write(content)
这样我们就得到了合并文本.txt
2.PNG
接着我们把就把某个角色和他的聊天对象的对话全部检索并生成新的文本
import re
#对文本关键字检索,对应句子
def keys_seq(path,keys,seq_re = re.compile('(.*?)\n'),nokeys=['']):
#1.读入文件
with open(path,'r',encoding="gb18030",errors="ignore") as file:
content = file.read()
#2.按句分割
#seq_re = re.compile('(.*?)\n')
seq_list = re.findall(seq_re, content)
print(seq_list)
#3.对输入的关键字进行检索
#seq1_list =[seq for seq in seq_list if keys[1] in seq and keys[0] in seq]
seq1_list = []
size = len(keys)
for j in range(len(seq_list)):
#print(type(seq_list[j]))
for i in range(size):
if keys[i] in seq_list[j]:
# 最后一个在则全在，否则会提前退出循环
if i == size-1:
seq1_list= seq1_list + [seq_list[j-1],seq_list[j]]
else:
break
#删除包含误差关键字的句子
size = len(nokeys)
seq2_list = seq1_list[:]
if nokeys[0]!='':
for seq in seq1_list:
for i in range(size):
if nokeys[i] in seq:
#flag = True
seq2_list.remove(seq)
break
return seq2_list
seq_list = keys_seq('文本/合并文本.txt',keys=['八云紫','：'])
with open('文本/data','w',encoding="gb18030",errors="ignore") as file:
file.write('\n'.join(seq_list))
这样我们就得到了八云紫的全部对话内容，但是还不够好，因为我们是从小说里拿的数据，就有一些不是对话，于是我们把这些不是对话的内容去掉。
import re
with open('文本/data','r',encoding="gb18030",errors="ignore") as file:
文本内容 = file.read()
正则 = re.compile('(.*?)\n')
原句集 = re.findall(正则, 文本内容)
新句集 = 原句集[:]
pattern = re.compile('“(.*)”')
for i in range(len(原句集)):
if '“' not in 原句集[i] and '”' not in 原句集[i]:
新句集.remove(原句集[i])
新句集.remove(原句集[i+1])
新句集 = [re.findall(pattern,line)[0] for line in 新句集]
with open('文本/data1','w',encoding="gb18030",errors="ignore") as file:
file.write('\n'.join(新句集))
最后生成的数据就是这样的，每第一句是别人的话，第二句是八云紫的话。
3.PNG
