爬虫：登入新浪微博、批量评论、点赞

视频链接：https://v.youku.com/v_show/id_XNDY1NTgwMDA0MA==.html
后面半小时就是在聊天，可以忽略

  • GET 用于获取数据，比如刷微博，用params
  • POST 用于提交数据，比如登录微博，用data

微博登入

打开微博客户端：https://m.weibo.cn/，右击打开”检查“（有的浏览器叫”审查元素“）

点上图的小图标，可以切换网页版和手机版，手机版相对好爬一点

点击Preserve log，保留登入信息，接着输入账号密码登入

关注左侧login，这里面就是我们要爬取的信息

获取登入网址

URL_login = "https://passport.weibo.cn/sso/login"

获取头文件

一般 referer（请求来源页面）、origin（谁发起的请求）、host（主机名及端口号） 字段也常被用于反爬虫，当我们的爬虫无法正常获取数据时，我们可以将请求头里的这些字段照搬进去试试。

image
headers = {
        'Referer': "https://passport.weibo.cn/signin/login?entry=mweibo&res=wel&wm=3349&r=https://m.weibo.cn/compose/",
        'User-Agent': "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Mobile Safari/537.36"
        }

获取登入参数

params = {
        'username': '******',
        'password': '*******',
        'savestate': '1',
        'r': 'https://m.weibo.cn/compose/',
        'ec': '0',
        'pagerefer': 'https://m.weibo.cn/login?backURL=https%3A%2F%2Fm.weibo.cn%2Fcompose%2F',
        'entry': 'mweibo',
        'wentry': '',
        'loginfrom': '',
        'client_id': '',
        'code': '',
        'qq': '',
        'mainpageflag': '1',
        'hff': '',
        'hfp': ''
        }

登入微博

import requests

# 登入微博网址
Request_URL = "https://passport.weibo.cn/sso/login"

# 登入头文件
Request_Headers = {
        'Referer': "https://passport.weibo.cn/signin/login?entry=mweibo&res=wel&wm=3349&r=https://m.weibo.cn/compose/",
        'User-Agent': "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Mobile Safari/537.36"
        }

# 登入参数
Form_Data = {
        'username': '*****',
        'password': '*****',
        'savestate': '1',
        'r': 'https://m.weibo.cn/compose/',
        'ec': '0',
        'pagerefer': 'https://m.weibo.cn/login?backURL=https%3A%2F%2Fm.weibo.cn%2Fcompose%2F',
        'entry': 'mweibo',
        'wentry': '',
        'loginfrom': '',
        'client_id': '',
        'code': '',
        'qq': '',
        'mainpageflag': '1',
        'hff': '',
        'hfp': ''
        }

res = requests.post(Request_URL, data=Form_Data, headers=Request_Headers)
print(res)

保留登入状态

#  使用session保存登入状态
session = requests.Session()
session.headers.update(headers)
res = session.post(URL_login, data=params)

发微博

先手动发一条微博，然后看看是哪个网址在响应

可以在Form Data 中看到发送的详情

我们可以构造一个评论参数，content是微博的内容，然后我们去找找 st 在哪

Content_Data = {
  'content': '本条微博由 Python 发送',
  'st': st
}

st

鼠标右键点击 显示网页源代码，然后 ctrl + f 搜索请求里的 st 值，我们可以用各种之前学过的方法，把这个数据匹配出来

或者我们再找找网页，看看有没有这个参数。我们发现，config 里面有这个参数呢~

Request_Config = session.get('https://m.weibo.cn/api/config')
Config = Request_Config.json()
st = Config['data']['st']

完整代码

import requests

# 登入微博网址
RequestURL = "https://passport.weibo.cn/sso/login"

# 登入头文件
RequestHeaders = {
        'Referer': "https://passport.weibo.cn/signin/login?entry=mweibo&res=wel&wm=3349&r=https://m.weibo.cn/compose/",
        'User-Agent': "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Mobile Safari/537.36"
        }

# 登入参数
FormData = {
        'username': '********',
        'password': '*****',
        'savestate': '1',
        'r': 'https://m.weibo.cn/compose/',
        'ec': '0',
        'pagerefer': 'https://m.weibo.cn/login?backURL=https%3A%2F%2Fm.weibo.cn%2Fcompose%2F',
        'entry': 'mweibo',
        'wentry': '',
        'loginfrom': '',
        'client_id': '',
        'code': '',
        'qq': '',
        'mainpageflag': '1',
        'hff': '',
        'hfp': ''
        }


LoginSession = requests.Session()
LoginSession.headers.update(RequestHeaders)
Res = LoginSession.post(RequestURL, data=FormData)

# 评论网址
RequestComment = "https://m.weibo.cn/api/statuses/update"

# 获取st值
RequestConfig = LoginSession.get('https://m.weibo.cn/api/config')
Config = RequestConfig.json()
st = Config['data']['st']

# 构造微博参数
DataCompose = {
  'content': '本条微博由 Python 发送',
  'st': st
}

# 发表微博
ResCompose = LoginSession.post('https://m.weibo.cn/api/statuses/update', data=DataCompose)
print(ResCompose.status_code)

可以加上函数，重写一下这个代码

import requests

# 登入微博
def Login(username,password):
    RequestURL = "https://passport.weibo.cn/sso/login"   
    RequestHeaders = {
            'Referer': "https://passport.weibo.cn/signin/login?entry=mweibo&res=wel&wm=3349&r=https://m.weibo.cn/compose/",
            'User-Agent': "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Mobile Safari/537.36"
            }    
    FormData = {
            'username': username,
            'password': password,
            'savestate': '1',
            'r': 'https://m.weibo.cn/compose/',
            'ec': '0',
            'pagerefer': 'https://m.weibo.cn/login?backURL=https%3A%2F%2Fm.weibo.cn%2Fcompose%2F',
            'entry': 'mweibo',
            'wentry': '',
            'loginfrom': '',
            'client_id': '',
            'code': '',
            'qq': '',
            'mainpageflag': '1',
            'hff': '',
            'hfp': ''
            }
    LoginSession = requests.Session()
    LoginSession.headers.update(RequestHeaders)
    Res = LoginSession.post(RequestURL, data=FormData)
    if Res.status_code == 200:
        print("登入成功")
    else:
        print("登入失败")
    return LoginSession

# 获取st
def GetST(LoginSession):
    RequestConfig = LoginSession.get('https://m.weibo.cn/api/config')
    Config = RequestConfig.json()
    st = Config['data']['st']
    return st

# 发微博
def SendContent(LoginSession,content):   
    st = GetST(LoginSession)
    DataCompose = {
      'content': content,
      'st': st
    }
    ResCompose = LoginSession.post('https://m.weibo.cn/api/statuses/update', data=DataCompose)
    if ResCompose.status_code == 200:
        print("发表微博成功")
    else:
        print("发表微博失败")
    return ResCompose

LoginSession = Login("******","********")
SendContent(LoginSession,"本条微博由Python发送")

微博点赞

获取微博列表

以扇贝网微博为例（https://m.weibo.cn/u/2139359753）

def GetList(LoginSession):
    URL = 'https://m.weibo.cn/api/container/getIndex'
    DataList = {            
            'uid': '2139359753',
            't': '0',
            'luicode': '10000011',
            'lfid': '100103type=1&q=扇贝网',
            'type': 'uid',
            'value': '2139359753',
            'containerid': '1076032139359753'
            }
    WeiBoListReq = LoginSession.get(URL, params=DataList)
    WeiBoListData = WeiBoListReq.json()
    WeiBoList = WeiBoListData['data']['cards']
    return WeiBoList

点赞

def SendHeart(LoginSession,ID):
    st = GetST(LoginSession)
    DataHeart = {
            'id': ID,
            'attitude': 'heart',
            'st': st
            }
    ResHeart = LoginSession.post('https://m.weibo.cn/api/attitudes/create', data=DataHeart)
    if ResHeart.status_code == 200:
        print("点赞成功")
    else:
        print("点赞失败")    
    return ResHeart

批量点赞

for i in WeiBoList:
    # card_type=9的时候，是一个正常的微博
    if i['card_type'] == 9:
        SendHeart(LoginSession,i['mblog']['id'])

也可以写成一个函数

def SendHeartAll(LoginSession):
    WeiBoList = GetList(LoginSession)
    for i in WeiBoList:
        # card_type=9的时候，是一个正常的微博
        if i['card_type'] == 9:
            SendHeart(LoginSession,i['mblog']['id'])

完整代码

import requests

# 登入微博
def Login(username,password):
    RequestURL = "https://passport.weibo.cn/sso/login"   
    RequestHeaders = {
            'Referer': "https://passport.weibo.cn/signin/login?entry=mweibo&res=wel&wm=3349&r=https://m.weibo.cn/compose/",
            'User-Agent': "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Mobile Safari/537.36"
            }    
    FormData = {
            'username': username,
            'password': password,
            'savestate': '1',
            'r': 'https://m.weibo.cn/compose/',
            'ec': '0',
            'pagerefer': 'https://m.weibo.cn/login?backURL=https%3A%2F%2Fm.weibo.cn%2Fcompose%2F',
            'entry': 'mweibo',
            'wentry': '',
            'loginfrom': '',
            'client_id': '',
            'code': '',
            'qq': '',
            'mainpageflag': '1',
            'hff': '',
            'hfp': ''
            }
    LoginSession = requests.Session()
    LoginSession.headers.update(RequestHeaders)
    Res = LoginSession.post(RequestURL, data=FormData)
    if Res.status_code == 200:
        print("登入成功")
    else:
        print("登入失败")
    return LoginSession

# 获取st
def GetST(LoginSession):
    RequestConfig = LoginSession.get('https://m.weibo.cn/api/config')
    Config = RequestConfig.json()
    st = Config['data']['st']
    return st

# 发微博
def SendContent(LoginSession,content):   
    st = GetST(LoginSession)
    DataCompose = {
      'content': content,
      'st': st
    }
    ResCompose = LoginSession.post('https://m.weibo.cn/api/statuses/update', data=DataCompose)
    if ResCompose.status_code == 200:
        print("发表微博成功")
    else:
        print("发表微博失败")
    return ResCompose

# 获取微博列表
def GetList(LoginSession):
    URL = 'https://m.weibo.cn/api/container/getIndex'
    DataList = {            
            'uid': '2139359753',
            't': '0',
            'luicode': '10000011',
            'lfid': '100103type=1&q=扇贝网',
            'type': 'uid',
            'value': '2139359753',
            'containerid': '1076032139359753'
            }
    WeiBoListReq = LoginSession.get(URL, params=DataList)
    WeiBoListData = WeiBoListReq.json()
    WeiBoList = WeiBoListData['data']['cards']
    return WeiBoList

# 点赞
def SendHeart(LoginSession,ID):
    st = GetST(LoginSession)
    DataHeart = {
            'id': ID,
            'attitude': 'heart',
            'st': st
            }
    ResHeart = LoginSession.post('https://m.weibo.cn/api/attitudes/create', data=DataHeart)
    if ResHeart.status_code == 200:
        print("点赞成功")
    else:
        print("点赞失败")    
    return ResHeart

# 批量点赞
def SendHeartAll(LoginSession):
    WeiBoList = GetList(LoginSession)
    for i in WeiBoList:
        # card_type=9的时候，是一个正常的微博
        if i['card_type'] == 9:
            SendHeart(LoginSession,i['mblog']['id'])

LoginSession = Login("**********","**********")
SendContent(LoginSession,"本条微博由Python发送")
SendHeartAll(LoginSession)

发表评论

def SendComment(LoginSession,Comment,ID):
    st = GetST(LoginSession)
    DataComment = {
            'content': Comment,
            'mid': ID,
            'st': st
            }
    ResComment = LoginSession.post('https://m.weibo.cn/api/comments/create', data=DataComment)
    if ResComment.status_code == 200:
        print("评论成功")
    else:
        print("评论失败")    
    return ResComment

批量评论

def SendCommentAll(LoginSession,Comment): 
    WeiBoList = GetList(LoginSession)
    for i in WeiBoList:
        # card_type=9的时候，是一个正常的微博
        if i['card_type'] == 9:
            SendComment(LoginSession,Comment,i['mblog']['id'])

完整代码

import requests

# 登入微博
def Login(username,password):
    RequestURL = "https://passport.weibo.cn/sso/login"   
    RequestHeaders = {
            'Referer': "https://passport.weibo.cn/signin/login?entry=mweibo&res=wel&wm=3349&r=https://m.weibo.cn/compose/",
            'User-Agent': "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Mobile Safari/537.36"
            }    
    FormData = {
            'username': username,
            'password': password,
            'savestate': '1',
            'r': 'https://m.weibo.cn/compose/',
            'ec': '0',
            'pagerefer': 'https://m.weibo.cn/login?backURL=https%3A%2F%2Fm.weibo.cn%2Fcompose%2F',
            'entry': 'mweibo',
            'wentry': '',
            'loginfrom': '',
            'client_id': '',
            'code': '',
            'qq': '',
            'mainpageflag': '1',
            'hff': '',
            'hfp': ''
            }
    LoginSession = requests.Session()
    LoginSession.headers.update(RequestHeaders)
    Res = LoginSession.post(RequestURL, data=FormData)
    if Res.status_code == 200:
        print("登入成功")
    else:
        print("登入失败")
    return LoginSession

# 获取st
def GetST(LoginSession):
    RequestConfig = LoginSession.get('https://m.weibo.cn/api/config')
    Config = RequestConfig.json()
    st = Config['data']['st']
    return st

# 发微博
def SendContent(LoginSession,content):   
    st = GetST(LoginSession)
    DataCompose = {
      'content': content,
      'st': st
    }
    ResCompose = LoginSession.post('https://m.weibo.cn/api/statuses/update', data=DataCompose)
    if ResCompose.status_code == 200:
        print("发表微博成功")
    else:
        print("发表微博失败")
    return ResCompose

# 获取微博列表
def GetList(LoginSession):
    URL = 'https://m.weibo.cn/api/container/getIndex'
    DataList = {            
            'uid': '2139359753',
            't': '0',
            'luicode': '10000011',
            'lfid': '100103type=1&q=扇贝网',
            'type': 'uid',
            'value': '2139359753',
            'containerid': '1076032139359753'
            }
    WeiBoListReq = LoginSession.get(URL, params=DataList)
    WeiBoListData = WeiBoListReq.json()
    WeiBoList = WeiBoListData['data']['cards']
    return WeiBoList

# 点赞
def SendHeart(LoginSession,ID):
    st = GetST(LoginSession)
    DataHeart = {
            'id': ID,
            'attitude': 'heart',
            'st': st
            }
    ResHeart = LoginSession.post('https://m.weibo.cn/api/attitudes/create', data=DataHeart)
    if ResHeart.status_code == 200:
        print("点赞成功")
    else:
        print("点赞失败")    
    return ResHeart

# 批量点赞
def SendHeartAll(LoginSession):
    WeiBoList = GetList(LoginSession)
    for i in WeiBoList:
        # card_type=9的时候，是一个正常的微博
        if i['card_type'] == 9:
            SendHeart(LoginSession,i['mblog']['id'])

# 发表评论
def SendComment(LoginSession,Comment,ID):
    st = GetST(LoginSession)
    DataComment = {
            'content': Comment,
            'mid': ID,
            'st': st
            }
    ResComment = LoginSession.post('https://m.weibo.cn/api/comments/create', data=DataComment)
    if ResComment.status_code == 200:
        print("评论成功")
    else:
        print("评论失败")    
    return ResComment

# 批量评论
def SendCommentAll(LoginSession,Comment): 
    WeiBoList = GetList(LoginSession)
    for i in WeiBoList:
        # card_type=9的时候，是一个正常的微博
        if i['card_type'] == 9:
            SendComment(LoginSession,Comment,i['mblog']['id'])
           
LoginSession = Login("***********","**********")
SendContent(LoginSession,"本条微博由Python发送")
SendHeartAll(LoginSession)
Comment = "给扇贝Python课程点赞，此留言由Python自动发送"
SendCommentAll(LoginSession,Comment)
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 219,110评论 6赞 508
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 93,443评论 3赞 395
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 165,474评论 0赞 356
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 58,881评论 1赞 295
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 67,902评论 6赞 392
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 51,698评论 1赞 305
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 40,418评论 3赞 419
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 39,332评论 0赞 276
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 45,796评论 1赞 316
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,968评论 3赞 337
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,110评论 1赞 351
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 35,792评论 5赞 346
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 41,455评论 3赞 331
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,003评论 0赞 22
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,130评论 1赞 272
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 48,348评论 3赞 373
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 45,047评论 2赞 355