上篇文章我们成功获取到了 等什么君 的歌词,那么我们就分析下,她都写了些什么。
1.生成一个歌词文件
使用上篇文章写的write_fil_txt方法把歌词写入一个文件中
def write_fil_txt(singer_name, lyric):
print('正在写入{}歌曲...'.format(singer_name))
if lyric is not None:
with open('{}.txt'.format(singer_name), 'a', encoding='utf-8') as fp:
fp.write(lyric)
生成的一个名为 等什么君.txt 的歌词文件
2.读取停用词
def stop_words_list(filepath):
stop_words = [file_line.strip() for file_line in open(filepath, 'r', encoding='utf-8').readlines()]
return stop_words
3.对歌词分词
使用jieba分词库对爬下来的歌词进行分词
def seg_sentence(sentence):
sentence_seg = jieba.cut(sentence.strip())
stop_words = stop_words_list('停用词表.txt') # 这里加载停用词路径
stop_words.append("版权") # 这里可以自定义停用词
stop_words.append("授权")
out_str = ''
for word in sentence_seg:
if word not in stop_words:
if word != '\t':
out_str += word
out_str += " "
return out_str
4.生成词云
def create_word_cloud():
curr_path = os.path.dirname(__file__) # 当前文件文件夹所在的目录
font_path = os.path.join(curr_path, 'AaDouBanErTi-2.ttf')
inputs = open('等什么君.txt', 'r', encoding='utf-8')
outputs = open('等什么君-分词.txt', 'w', encoding='gbk')
for line in inputs:
line_seg = seg_sentence(line) # 这里返回的是字符串
outputs.write(line_seg + '\n')
inputs.close()
outputs.close()
cloud = WordCloud(font_path=font_path)
cut_texts = open('等什么君-分词.txt', 'r', encoding='gbk').read()
word_cloud = cloud.generate(cut_texts) # 生成词云
word_cloud.to_file('word_cloud.png') # 保存图片
image = word_cloud.to_image() # 转化为图片
image.show() # 展示图片
获取当前的目录留用
同时中文必须要指定中文字体才行,顺便推荐一个免费的字体网站:字体天下
调用seg_sentence方法进行分词处理
再调用WordCloud方法生成词云图片,官方文档地址:wordcloud文档
5.生成的词云图
执行完以后生成的词云图便是如上图,但是不得不说是真的丑呀,所以我又参考了下官方文档优化下。
6.根据图片颜色抠图
这里利用刚刚生成的 等什么君-分词.txt 文件进行词云生成,根据提供的背景图片适配所处位置文字的颜色。
def image_colors():
d = os.path.dirname(__file__) if "__file__" in locals() else os.getcwd()
text = open(os.path.join(d, '等什么君-分词.txt')).read()
image_color = np.array(Image.open(os.path.join(d, 'gufeng.png')))
image_color = image_color[::3, ::3]
image_mask = image_color.copy()
image_mask[image_mask.sum(axis=2) == 0] = 255
edges = np.mean([gaussian_gradient_magnitude(image_color[:, :, i] / 255., 2) for i in range(3)], axis=0)
image_mask[edges > .08] = 255
wc = WordCloud(font_path='AaDouBanErTi-2.ttf',
max_words=2000, mask=image_mask, max_font_size=40, random_state=42, relative_scaling=0)
wc.generate(text)
# plt.imshow(wc) # 词云的普通颜色
image_color_generator = ImageColorGenerator(image_color)
wc.recolor(color_func=image_color_generator)
plt.figure(figsize=(10, 10))
plt.imshow(wc, interpolation="bilinear")
wc.to_file("等什么君-词云.png")
plt.show()
7.优化后的词云图片
运行上面的代码生成的词云图片如下:
哈哈,是不是漂亮了很多,这才有词云的样子嘛。
8.使用第三方词云生成网站
要使用第三方词云网站,那么需要再把分词后的数据优化下,坐下统计生成权值,也就是出现的次数,并且把结果输出到xls文件中,实现代码如下:
def analyse_export():
wbk = xlwt.Workbook(encoding='ascii')
sheet = wbk.add_sheet("WordCount") # Excel单元格名字
word_list = []
key_list = []
for line in open('等什么君-分词.txt', encoding='gbk'):
item = line.strip('\n\r').split('\t') # 制表格切分
tags = analyse.extract_tags(item[0]) # jieba分词分析
for t in tags:
word_list.append(t)
word_dict = {}
with open('等什么君-分析.txt', 'w') as wf2:
for term in word_list:
if term not in word_dict:
word_dict[term] = 1
else:
word_dict[term] += 1
order_list = list(word_dict.values())
order_list.sort(reverse=True)
# print(order_list)
for i in range(len(order_list)):
for key in word_dict:
if word_dict[key] == order_list[i]:
wf2.write(key + ' ' + str(word_dict[key]) + '\n') # 写入txt文档
key_list.append(key)
word_dict[key] = 0
for i in range(len(key_list)):
sheet.write(i, 1, label=order_list[i])
sheet.write(i, 0, label=key_list[i])
wbk.save('等什么君-分析.xls') # 保存为xls文件
结果如下:
第三方网站有很多:wordle、worditout
、tagxedo、wordart、tocloud、图悦、BDP个人版等等。
我这使用的是wordart:
WORDS -> Import -> 把xls中内容拷贝到这里 -> Import words
SHAPES -> Add image -> Open image from your computer选择要上传的图片->OK
FONTS -> Add font -> 选择字体 ->打开
最后点击 Visualize 即可:
很明显,有了权值之后生成的词云图片更好看,不过这个网站下载高清图片是需要收费的,普通的下载不收费。
好了,通过这个词云图能清晰的看出 君大 都写了些什么。