《我和我的家乡》影评高频词原来是这些！

本文作者：李婷婷河南大学经济学院
文字编辑：崔赵雯
技术总编：余术玲

导读

前段时间电影院上映了几部重量级电影，《我和我的家乡》、《姜子牙》、《夺冠》等等，使沉寂已久的电影院又热闹了起来！不知道大家看了哪一部电影呢？

《我和我的家乡》这部电影中的五个故事既有让大家捧腹大笑的瞬间，也有让大家感动落泪的时刻。今天我们就通过豆瓣电影来看一下《我和我的家乡》这部电影的评价。在本篇推文中，我们通过爬取豆瓣电影上《我和我的家乡》的影评内容并制作词云图，让大家可以直观看到影评中出现的一些高频词汇。

图片1.jpg

一、爬取影评内容

首先，我们找到豆瓣电影中《我和我的家乡》，这部电影的影评（网络链接:https://movie.douban.com/subject/35051512/reviews），然后查看网页的源代码，并观察源代码信息，找到目标信息所在的位置。

image

通过观察，我们发现每条影评的标题和链接都在同一行，而且所在的行都包含</a></h2>这个标签。先以第一页为例，通过正则表达式保留目标信息所在的行，并提取影评的标题和链接。

image

clear all
cap mkdir D:/影评爬取
cd D:/影评爬取
copy "https://movie.douban.com/subject/35051512/reviews" temp.txt, replace
infix strL v 1-100000 using temp.txt, clear
keep if ustrregexm(v,"</a></h2>")
gen url=ustrregexs(1) if ustrregexm(v,`"<a href="(.*)">"')
replace v =ustrregexra(v,"<.*?>","")
rename v title

这样我们就可以得到第一页当中所有影评的标题和链接了，但是影评不止一页，所以我们需要先从第一页的源代码中提取出影评的总页数，之后再遍历所有页面进行提取所需要的信息。

image

copy "https://movie.douban.com/subject/35051512/reviews" temp.txt, replace
infix strL v 1-100000 using temp.txt, clear
keep if index(v,`"<span class="thispage" data-total-page="')
replace v=ustrregexs(0) if ustrregexm(v,"(\d+)")
local p=v[1]

接下来对页码进行循环，抓取所有页面的信息，并将每一页的信息分别保存，之后再进行合并。

forvalues i=1/`p'{
    local j=(`i'-1)*20
    cap copy "https://movie.douban.com/subject/35051512/reviews?start=`j'" temp.txt,replace 
    while _rc!=0 { 
       cap copy "https://movie.douban.com/subject/35051512/reviews?start=`j'" temp.txt, replace
    }
   infix strL v 1-100000 using temp.txt, clear
   keep if ustrregexm(v,"</a></h2>")
   gen url=ustrregexs(1) if ustrregexm(v,`"<a href="(.*)">"')
   replace v =ustrregexra(v,"<.*?>","")
   rename v title
   save "我和我的家乡影评_`i'",replace
}
 *合并文件
clear
local files:dir "." file "我和我的家乡影评*.dta"
foreach file in `files' {
    append using "`file'"
    }
drop if url==""
save "我和我的家乡影评.dta", replace

image

如图所示，我们得到了所有影评的标题和影评的链接，下一步我们就可以使用这些链接进行二次爬虫抓取影评的内容啦！

gen v=""
forvalues i=1/`=_N' {
    sleep 1000
    replace v=fileread(url) in `i' 
    while filereaderror(v[`i'])!=0 {
        sleep 5000
        replace v=fileread(url) in `i'
      }
     dis `i'
}
split v,p(`"<div id="link-report">"' `"<div class="main-author">"')
replace v2 = ustrregexra(v2,"\s","",.)
replace v2 = ustrregexra(v2,"<.*?>","",.)
replace v2 = ustrregexra(v2,"&nbsp|&copy|-|;","")
rename v2 content
keep title content
save "我和我的家乡影评1.dta",replace

image

如图所示，我们得到了《我和我的家乡》这部电影在豆瓣上所有影评的标题和影评的内容。接下来就可以根据影评内容进行制作词云图了~

二、词云图

我们通过Stata和Python的交互实现对影评内容的分词处理，因为影评的内容通常较长，而且含有名词、形容词等多种词性，因此，这里使用jieba.posseg进行分词，获得每个词语的词性。

use 我和我的家乡影评1.dta,clear
keep content
export delimited using content.txt,replace
*调用Python分词
clear all
python
import jieba.posseg
word=[]
with open(r"content.txt",encoding="utf8") as f:
    for i in f.readlines():
        str=i    
        word.append(str)
jieba.load_userdict(r"tsdict.txt")
with open("分词.txt","w",encoding="utf8") as f2:
    for unit in word:
        seg_list = jieba.posseg.cut(unit)
        for word in seg_list:
            f2.write(word.word+" "+word.flag+"\n")
end

将分词的结果导入到Stata之后，删除缺失值、单字和停用词并进行词频统计。

import delimited using 分词.txt, clear encoding("utf-8")
split v1,p(" ")
drop v1
rename (v11 v12) (keyword flag)
drop if ustrlen(keyword) == 1
drop if keyword ==""
preserve
import delimited using 停用词表.txt, clear encoding("utf-8") varname(nonames)
outsheet using 停用词表.txt, replace
levelsof v1, local(keyword)
restore
foreach word in `keyword' {
    drop if keyword == "`word'"
} 
*词频统计
bysort keyword:gen frequency = _N
gsort -frequency
duplicates drop
save word,replace

最后，我们在得到的分词结果中只保留名词、动词和形容词，并进行词云图的绘制。

use word,clear
keep if ustrregexm(flag,"^[anv]")
keep in 1/100
wordcloud keyword frequency using 词云.html, replace size(15 80) range(3480 2160)
shellout 词云图.html

制作的词云图结果如下图所示：

image

从词云图中可以看出，“故事”、“家乡”、“北京”、“老师”、“回乡”这些词出现的频率很高。从电影的影评内容也可以看出，这部电影唤起了很多人的家乡情怀。你去电影院看这部电影了嘛？欢迎大家留言交流观影感受哦~