Cookie 和模拟登陆
什么是 Cookie
在网站中，http请求是无状态的。也就是说即使第一次和服务器连接后并且登陆成功后，第二次请求服务器依然不能知道当前请求是哪个用户。Cookie 的出现就是为了解决这个问题，第一次登陆后服务器返回一些数据（Cookie）给浏览器，然后浏览器保存在本地，当该用户发送第二次请求时，就会自动地把上次请求存储的 Cookie 数据自动携带给服务器，服务器通过浏览器携带的数据就能判断当前用户是哪个了。Cookie 存储的数据量有限，不同的浏览器有不同的存储大小，但一般不超过 4KB。因此使用 Cookie 只能存储一些少量的数据。
Cookie 的格式
Set-Cookie: NAME=VALUE; Expires/Max-age=DATE; Path=PATH; Domain=DOMAIN_NAME; SECURE
以上参数的意义：
- NAME：cookie的名字
- VALUE: cookie的值
- Expires：cookie的过期时间
- Path：cookie 作用的路径
- Domain: cookie 作用的域名
- SECURE：是否只在 https 下起作用
使用 cookielib 库和 HTTPCookieProcessor 模拟登录
这里以人人网为例。人人网中，要访问某人的主页，必须先登录才能访问，说白了就是要有 cookie 信息。如果我们想要用代码的形式访问，就必须要有正确的 cookie 信息才能访问，就必须要用正确的 cookie 信息才能访问。解决方案有两种，第一种是使用浏览器来访问，然后将 cookie 信息复制下来，放到 headers 中。示例代码如下：
【这里代码，为了方便，用了微博做示例】
from urllib import request
targetUrl = 'https://weibo.com/tmac1010?is_all=1'
headers = {
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36",
"Cookie": "TC-V5-G0=4e714161a27175839f5a8e7411c8b98c; login_sid_t=53c6e5764e8f408b6f7ca86e68e45970; cross_origin_proto=SSL; Ugrow-G0=5c7144e56a57a456abed1d1511ad79e8; _s_tentry=passport.weibo.com; wb_view_log=1440*9002; Apache=9886055519552.01.1560870771483; SINAGLOBAL=9886055519552.01.1560870771483; ULV=1560870771489:1:1:1:9886055519552.01.1560870771483:; SUB=_2A25wDI_ADeRhGedL6lAZ9CjEyD-IHXVTe-YIrDV8PUNbmtAKLWmhkW9NVUrLigI8dTR7Y-Ij_ZhFA6RAvTQ42kDG; SUBP=0033WrSXqPxfM725Ws9jqgMF55529P9D9WW6Yu6WoZM-XpHg76dgWodm5JpX5KzhUgL.Fo2feKzRShqRe0e2dJLoI7pkPcLVIPB7eh2pPfYt; SUHB=0103HP7kXd88kZ; ALF=1592406800; SSOLoginState=1560870800; wvr=6; wb_view_log_1512846833=1440*9002; wb_timefeed_1512846833=1; webim_unReadCount=%7B%22time%22%3A1560872470141%2C%22dm_pub_total%22%3A2%2C%22chat_group_pc%22%3A0%2C%22allcountNum%22%3A2%2C%22msgbox%22%3A0%7D; TC-Page-G0=7f6863db1952ff8adac0858ad5825a3b|1560872474|1560872474"
}
reqObj = request.Request(url=targetUrl, headers=headers)
resp = request.urlopen(reqObj)
print(resp.read().decode('utf-8'))
但是每次在访问需要 cookie 的页面都要从浏览器中复制 cookie 比较麻烦。Python 处理 cookie，一般是通过 http.cookiejar 模块和 urllib 模块的 HTTPCookieProcessor 处理器类一起使用。http.cookiejar 模块主要作用是提供用于存储 cookie 的对象。而 HTTPCookieProcessor 处理器主要作用是处理这些 cookie 对象，并构建 handler 对象。
http.cookiejar 模块
该模块主要的类有 CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。这四个类的作用分别如下：
- CookieJar
管理 HTTP cookie 的值、存储 HTTP 请求生成的 cookie、向传出的 HTTP 请求添加 cookie 的对象。整个 cookie 都存储在内存中，对 CookieJar 实例进行垃圾回收后 cookie 也将丢失。
- FileCookieJar (filename, delayload=None, policy=None)
从 CookieJar 派生而来，用来创建 FileCookieJar 实例，检索 cookie 信息并将 cookie 存储到文件中。filename 是存储 cookie 的文件名。delayload 为 True 时支持延迟访问文件，即只有在需要时才读取文件或在文件中存储数据。
- MozillaCookieJar (filename, delayload=None, policy=None)
从 FileCookieJar 派生而来，创建与 Mozilla 浏览器 cookies.txt 兼容的 FileCookieJar 实例。
- LWPCookieJar (filename, delayload=None, policy=None)
从 FileCookieJar 派生而来，创建与 libwww-per 标准的 Set-Cookie3 文件格式兼容的 FileCookieJar 实例。
利用 http.cookiejar 和 request.HTTPCookieProcessor 登录人人网。
from urllib import request,parse
from http.cookiejar import CookieJar
# 1.登录
# 1.1 创建一个 CookieJar 对象
cookieJar = CookieJar()
# 1.2 使用 CookirJar 创建一个 HTTPCookieProcess 对象
handler = request.HTTPCookieProcessor(cookieJar)
# 1.3 使用上一步创建的 handler 创建一个 opener
opener = request.build_opener(handler)
# 1.4 使用 opener 发送登录的请求
headers = {
'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36',
}
datas = {
'email':'xxxxxxxxxxx',
'password':'xxxxxxxxxx'
}
loginUrl = 'http://www.renren.com/PLogin.do'
reqObj = request.Request(loginUrl, data=parse.urlencode(datas).encode('utf-8'), headers=headers)
opener.open(reqObj)
# 2.访问个人主页
homePageUrl = 'http://www.renren.com/320922841/profile'
reqObj = request.Request(homePageUrl, headers=headers)
respObj = opener.open(reqObj)
with open('files/renren.html', 'w') as f:
f.write(respObj.read().decode('utf-8'))
保存 Cookie 到本地
保存 cookie 到本地，可以使用 cookiejar 的 save 方法
from urllib import request
from http.cookiejar import MozillaCookieJar
cookieJar = MozillaCookieJar('files/cookie.txt')
handler = request.HTTPCookieProcessor(cookieJar)
opener = request.build_opener(handler)
headers = {
'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36',
}
req = request.Request('http://httpbin.org/cookies', headers=headers)
resp = opener.open(req)
for ck in cookieJar:
print(ck)
cookieJar.save(ignore_discard=True, ignore_expires=True)
# cookieJar.load(filename) # 从文件中读取 cookie 信息
