手把手教你完成一个数据科学小项目(1):数据爬取

前言

请先阅读“中国年轻人正带领国家走向危机”,这锅背是不背? 一文,以对“手把手教你完成一个数据科学小项目”系列有个全局性的了解。

本系列将全面涉及本项目从爬虫、数据提取与准备、数据异常发现与清洗、分析与可视化等细节,并将代码统一开源在GitHub:DesertsX/gulius-projects ,感兴趣的朋友可以先行 star 哈。

爬虫

抓包一下,你就知道

本次要爬取的是新浪财经《中国年轻人正带领国家走向危机?》评论区的全部评论,那么首先点开文章,拉到评论区,点击“查看全部XXXX条评论”:

在新的页面处,点击“点击加载更多”就可以一直加载出评论数据:


接着在页面处鼠标右键后选“审查元素”,按照下图(一般新窗口出现在下方,这里为了挡后面的广告,移到了右边)的顺序,点击 "network" >> 点"All" >> 多次点击加载评论>>观察4中重复加载的内容,并结合5中“previw”,确定下前者就是爬虫入口的 url,后者就是加载出的评论数据:


以上是网页端抓包的一般流程,接下来看看5边上“headers”里的Request URL:http://comment5.news.sina.com.cn/page/info?version=1&format=js&channel=cj&newsid=comos-hhkuskt2879316&group=0&compress=0&ie=gbk&oe=gbk&page=2&page_size=20&jsvar=loader_1534257224948_43840486

对比下多次加载评论后其他的 Request URL,可以看出变化的参数仅为page=2jsvar=loader_1534257224948_43840486

前者 page 就是加载的页数,用总评论数除以每次加载的20条,算下即可。后者 jsvar 初看起来像是随机数,但有些经验的应该能猜到是时间戳,结合参数里的 loader 猜想是评论开始加载的13位时间戳与结束时间戳的后8位:

其实前一个项目当你点开这首《八月》的歌:9400余条评论的分析与挖掘 里就遇到了13位时间戳的问题,因为以前碰到的都是10位的,所以也注意了下。

import time
commentTime = 1534257224948 # 13 位,一般是 10 位
print(commentTime)
print(int(time.time()))
print(time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(commentTime/1000)))

将参数里的数字转换成正常的时间格式后,能看到与当下加载评论的时刻相近,就可以确认上述判断无误;而后面8位的时间戳采用随机构造即可。

接下来,开始爬取所有评论前,测试下爬虫能否正常获取数据,打印一两页看看:

import requests
import time

# jsvar=loader_1533711754393_51961031
for page in range(0,150):
    start = int(time.time()*1000)
    end_stamp = start + random.randint(100,1000) # 随机构造时间间隔,并加到起始时间戳上
    end = str(end_stamp)[-8:]
    url = 'http://comment5.news.sina.com.cn/page/info?version=1&format=js&channel=cj&newsid=comos-hhkuskt2879316&group=0&compress=0&ie=gbk&oe=gbk&page={}&page_size=20&jsvar=loader_{}_51961031'.format(page, start, end)
    r = requests.get(url).text
    print(r)
    break

构造 url,并用 requests 库发送 get 请求,发现不用带其它参数,就能拿到数据,异常轻松。注意:这里的数据也就是上文标记为5的“previews”里的内容。

这里截取掉前34个字符,拿到干净的字典样格式的字符串,方便后续操作和提取数据:
var loader_1533713810791_51961031='{ "result":{status: {msg: "", code: 0}, count: {qreply: 8948, total: 17341, show: 2902}, replydict: {,…},…}'

然后重新发送请求,提取并打印部分评论数据:

import time
import requests
import json

for page in range(0,150):
    start = int(time.time()*1000)
    end_stamp = start + random.randint(100,1000)
    end = str(end_stamp)[-8:]
    url = 'http://comment5.news.sina.com.cn/page/info?version=1&format=js&channel=cj&newsid=comos-hhkuskt2879316&group=0&compress=0&ie=gbk&oe=gbk&page={}&page_size=20&jsvar=loader_{}_51961031'.format(page, start, end)
    r = requests.get(url).text
    json_dict = json.loads(r[34:])
    cmntlist = json_dict['result']["cmntlist"]
    for num,cmnt in  enumerate(cmntlist):
        print(num, cmnt['nick'],cmnt['area'], cmnt['time'], cmnt['content']) 
    break

罗列下前3条的输出:

0 用户957zwswd 2018-08-08 14:21:26 这是什么沙雕 浙江嘉兴
1 尾尾 2018-08-08 14:21:25 有啊,税制改革了,有学生、老人的家庭有税收优惠,也就意味着,单身要交更多的税了。 宁夏银川
2 可乐味的我想和你天下第一好 2018-08-08 14:21:24 那叫探索,叫探索时的必经之路[作揖] 河南洛阳

爬虫走你~

经过上述探索,确认能获取到数据后,就可以开爬了,代码不难,新手朋友可以试着自己完成:

%% time # 计算耗时
import requests
import time
import random
import json
import pandas as pd

comments = pd.DataFrame(columns = ['page','jsons','cmntlist','replydict'])
start_page = 0 # 修改起始页数(初始值为 0)和 csv 文件名,方便爬虫中断后,继续爬取,之后再将几个 csv 数据整合到一起即可 # 断点续爬

# http://comment5.news.sina.com.cn/page/info?version=1&format=js&channel=cj&newsid=comos-hhkuskt2879316&group=0&compress=0&ie=gbk&oe=gbk&page=3&page_size=20&jsvar=loader_1533711754393_51961031
# jsvar=loader_1533711754393_51961031
try:
    # 手动设置需要爬取的总页数,评论数若有3000条,那每页20条,就设为150,当然一般在爬取时也可能有新增的评论,所以设大些更好。
    for page in range(start_page,200):  # 截止20180808 16点  # 3,037条评论|18,714人参与 # 截止20180810 8点 # 3,723条评论|30,235人参与
        start = int(time.time()*1000)
        end_stamp = start + random.randint(100,1000)
        end = str(end_stamp)[-8:] # # jsvar=loader_1533711754393_51961031
        url = 'http://comment5.news.sina.com.cn/page/info?version=1&format=js&channel=cj&newsid=comos-hhkuskt2879316&group=0&compress=0&ie=gbk&oe=gbk&page={}&page_size=20&jsvar=loader_{}_51961031'.format(page, start, end)
        content = requests.get(url).text
        jsons = json.loads(content[34:])  # var loader_1533713810791_51961031= { "result":{status: {msg: "", code: 0}, count: {qreply: 8948, total: 17341, show: 2902}, replydict: {,…},…}
        cmntlist = jsons['result']["cmntlist"]
        replydict = jsons['result']["replydict"]
        # jsons 里有几乎所有数据,方便后续爬虫结束也能本地进行提取 # 不过本次主要对 jsons 里的 cmntlist 和 replydict 感兴趣,所以也先提取了
        comments = comments.append({'page':page+1,'jsons':jsons,'cmntlist':cmntlist,'replydict':replydict},ignore_index=True)
        for num,cmnt in  enumerate(cmntlist):
            print(page*20+num+1, page+1, cmnt['nick'], cmnt['time'], cmnt['content'], cmnt['area'])
        if page%5==0:
            time.sleep(random.randint(0,2)) # 每5页随机停0-2秒,作为简单的防反爬的一步
except:
    print("Error")
comments.to_csv('Sina_Finance_Comments_1_20180810.csv',index=False,encoding='utf-8')

小结

爬取到数据后,就可以“为所欲为”的进行花式分析了(好吧,其实还需要进一步处理下)。大家可以读取数据,看看每行每列的格式是什么样的。

df = pd.read_csv('Sina_Finance_Comments_1_20180810.csv',encoding='utf-8')
df.head()

这里说明下,爬虫里是先按照每页20条评论的字典或列表的格式整体存储的,那么随之而来的问题就是,如何根据这些列来提取出每一条评论的数据,并存储到新的csv里呢?

可自行尝试下如何用 pandas 实现哈。更多内容将在本系列后续文章中逐步展开。本系列涉及的从爬虫、数据提取与准备、数据异常发现与清洗、分析与可视化等的代码,统一开源在GitHub:DesertsX/gulius-projects ,感兴趣的朋友可以先行 star 哈。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 211,194评论 6 490
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,058评论 2 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 156,780评论 0 346
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,388评论 1 283
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,430评论 5 384
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,764评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,907评论 3 406
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,679评论 0 266
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,122评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,459评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,605评论 1 340
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,270评论 4 329
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,867评论 3 312
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,734评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,961评论 1 265
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,297评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,472评论 2 348

推荐阅读更多精彩内容