分析爬取的网易云音乐歌词生成词云

上篇文章我们成功获取到了 等什么君 的歌词,那么我们就分析下,她都写了些什么。

1.生成一个歌词文件

使用上篇文章写的write_fil_txt方法把歌词写入一个文件中

def write_fil_txt(singer_name, lyric):
    print('正在写入{}歌曲...'.format(singer_name))
    if lyric is not None:
        with open('{}.txt'.format(singer_name), 'a', encoding='utf-8') as fp:
            fp.write(lyric)

生成的一个名为 等什么君.txt 的歌词文件


2.读取停用词

def stop_words_list(filepath):
    stop_words = [file_line.strip() for file_line in open(filepath, 'r', encoding='utf-8').readlines()]
    return stop_words

3.对歌词分词

使用jieba分词库对爬下来的歌词进行分词

def seg_sentence(sentence):
    sentence_seg = jieba.cut(sentence.strip())
    stop_words = stop_words_list('停用词表.txt')  # 这里加载停用词路径
    stop_words.append("版权") # 这里可以自定义停用词
    stop_words.append("授权")
    out_str = ''
    for word in sentence_seg:
        if word not in stop_words:
            if word != '\t':
                out_str += word
                out_str += " "
    return out_str

4.生成词云

def create_word_cloud():
    curr_path = os.path.dirname(__file__)  # 当前文件文件夹所在的目录
    font_path = os.path.join(curr_path, 'AaDouBanErTi-2.ttf')
    inputs = open('等什么君.txt', 'r', encoding='utf-8')
    outputs = open('等什么君-分词.txt', 'w', encoding='gbk')
    for line in inputs:
        line_seg = seg_sentence(line)  # 这里返回的是字符串
        outputs.write(line_seg + '\n')
    inputs.close()
    outputs.close()
    cloud = WordCloud(font_path=font_path)
    cut_texts = open('等什么君-分词.txt', 'r', encoding='gbk').read()
    word_cloud = cloud.generate(cut_texts)  # 生成词云
    word_cloud.to_file('word_cloud.png')  # 保存图片
    image = word_cloud.to_image()  # 转化为图片
    image.show()  # 展示图片

获取当前的目录留用
同时中文必须要指定中文字体才行,顺便推荐一个免费的字体网站:字体天下
调用seg_sentence方法进行分词处理
再调用WordCloud方法生成词云图片,官方文档地址:wordcloud文档

5.生成的词云图


执行完以后生成的词云图便是如上图,但是不得不说是真的丑呀,所以我又参考了下官方文档优化下。

6.根据图片颜色抠图

这里利用刚刚生成的 等什么君-分词.txt 文件进行词云生成,根据提供的背景图片适配所处位置文字的颜色。

def image_colors():
    d = os.path.dirname(__file__) if "__file__" in locals() else os.getcwd()
    text = open(os.path.join(d, '等什么君-分词.txt')).read()

    image_color = np.array(Image.open(os.path.join(d, 'gufeng.png')))
    image_color = image_color[::3, ::3]

    image_mask = image_color.copy()
    image_mask[image_mask.sum(axis=2) == 0] = 255

    edges = np.mean([gaussian_gradient_magnitude(image_color[:, :, i] / 255., 2) for i in range(3)], axis=0)
    image_mask[edges > .08] = 255

    wc = WordCloud(font_path='AaDouBanErTi-2.ttf',
                   max_words=2000, mask=image_mask, max_font_size=40, random_state=42, relative_scaling=0)
    wc.generate(text)
    # plt.imshow(wc)  # 词云的普通颜色

    image_color_generator = ImageColorGenerator(image_color)
    wc.recolor(color_func=image_color_generator)
    plt.figure(figsize=(10, 10))
    plt.imshow(wc, interpolation="bilinear")
    wc.to_file("等什么君-词云.png")
    plt.show()

7.优化后的词云图片

运行上面的代码生成的词云图片如下:



哈哈,是不是漂亮了很多,这才有词云的样子嘛。

8.使用第三方词云生成网站

要使用第三方词云网站,那么需要再把分词后的数据优化下,坐下统计生成权值,也就是出现的次数,并且把结果输出到xls文件中,实现代码如下:

def analyse_export():
    wbk = xlwt.Workbook(encoding='ascii')
    sheet = wbk.add_sheet("WordCount")  # Excel单元格名字
    word_list = []
    key_list = []
    for line in open('等什么君-分词.txt', encoding='gbk'):
        item = line.strip('\n\r').split('\t')  # 制表格切分
        tags = analyse.extract_tags(item[0])  # jieba分词分析
        for t in tags:
            word_list.append(t)
    word_dict = {}
    with open('等什么君-分析.txt', 'w') as wf2:
        for term in word_list:
            if term not in word_dict:
                word_dict[term] = 1
            else:
                word_dict[term] += 1
        order_list = list(word_dict.values())
        order_list.sort(reverse=True)
        # print(order_list)
        for i in range(len(order_list)):
            for key in word_dict:
                if word_dict[key] == order_list[i]:
                    wf2.write(key + ' ' + str(word_dict[key]) + '\n')  # 写入txt文档
                    key_list.append(key)
                    word_dict[key] = 0

    for i in range(len(key_list)):
        sheet.write(i, 1, label=order_list[i])
        sheet.write(i, 0, label=key_list[i])
    wbk.save('等什么君-分析.xls')  # 保存为xls文件

结果如下:


第三方网站有很多:wordleworditout
tagxedowordarttocloud图悦BDP个人版等等。
我这使用的是wordart:
WORDS -> Import -> 把xls中内容拷贝到这里 -> Import words


SHAPES -> Add image -> Open image from your computer选择要上传的图片->OK

FONTS -> Add font -> 选择字体 ->打开

最后点击 Visualize 即可:

很明显,有了权值之后生成的词云图片更好看,不过这个网站下载高清图片是需要收费的,普通的下载不收费。
好了,通过这个词云图能清晰的看出 君大 都写了些什么。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,723评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,003评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,512评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,825评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,874评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,841评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,812评论 3 416
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,582评论 0 271
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,033评论 1 308
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,309评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,450评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,158评论 5 341
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,789评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,409评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,609评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,440评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,357评论 2 352