数据从何而来

首先我们先知晓该数据的接口

image.png

其次，通过代码去获取接口数据。

ef get_html_data(self, page):
    # 实际请求Url
    actual_url = ("https://m.weibo.cn/api/container/getIndex?" +
                  "type=uid" +
                  "&value=" + self.user_id +
                  "&containerid=" + self.domain + self.user_id +
                  "&page=" + str(page))

    # 随机获取headers
    res = requests.get(actual_url, headers={'User-Agent': UA[random.randint(0, len(UA) - 1)]}).text
    print("抓取开始,第" + str(page) + "次下拉,实际请求Url:" + actual_url)
    return res

user_id   #微博用户ID
containerid  #微博默认domain+用户ID
page  #页数

当我们获取到想要的接口数据后，接下来就是需要对数据做数据解析。

2.数据处理

在剖析数据之前，我们需要知道数据的结构，才能知道采用哪种方式做解析。
我们可以借助工具，可以看到Json的结构。

image.png

知道了数据结构后，接下来就是通过代码去实现它。

for page in range(1, 10):
    res = self.get_html_data(page)
    if not res:
        print("抓取完成...")
        return self.post_list
    try:
        res_json = json.loads(res)["data"]["cards"]
    except Exception:
        print("抓取数据格式异常！！！")
        return self.post_list
    for content in res_json[1:]:
        item = {}
        # 解析微博数据
        try:
            # 微博账号内容信息全在这个标签之后
            content = content["mblog"]
            # 推文发布时间
            item["time"] = content["created_at"]
            # 推文ID
            item["post_id"] = content["id"]
            # 推文的BID
            item["post_bid"] = content["bid"]
            # 推文内容
            item["text"] = content["text"].replace("\n", ";")
            # 推文点赞数
            item["likes"] = content["attitudes_count"]
            # 推文评论数
            item["comments"] = content["comments_count"]
            # 推文转发数
            item["reposts"] = content["reposts_count"]
            # 推文是否为转发
            item["if_repost"] = ("retweeted_status" in content)
            self.post_list.append(item)
        except KeyError:
            print("剖析json格式异常")
            return self.post_list
    time.sleep(2)

4.效果图

代码功能完成后，我们可以查看到运行结果。

image.png

image.png

这里你肯定有疑问，那用户ID从哪拿呢？

更多源码信息请参考原文