import requests
import traceback
class WebDownloader(object):
"""http下载器，对requests简单封装及自动维护cookie"""
def __init__(self):
'''创建session，维护cookie'''
self.headers = {
"Accept-Language": "zh-CN,zh;q=0.9",
"Connection": "keep-alive",
"User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"
}
# 创建opener管理cookie
self.opener = requests.session()
def post(self, url, post_data):
"""
post方法封装
:return http code，response
"""
try:
response = self.opener.post(url, json=post_data, headers=self.headers, timeout=3)
return response.status_code, response.text
except:
return "ERROR", traceback.format_exc()
def get(self, url):
"""
get方法封装
:return http code，response
"""
try:
response = self.opener.get(url, headers=self.headers, timeout=3)
return response.status_code, response.text
except:
return "ERROR", traceback.format_exc()
if __name__=="__main__":
pass
【Requests】最小集爬虫封装，自动维护cookie，简化post、get调用方法
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
推荐阅读更多精彩内容
- 在python3中，整合了urllib，urllib2。。。等等python3中使用urllib.request来...
- 今天做了个随机变换IP的功能由于今天懒得写爬虫爬取西刺网 (http://www.xicidaili.com/wt...
- OkHttpPlus介绍 项目地址：https://github.com/ZhaoKaiQiang/OkHttpP...
- 本文为菜鸟窝作者蒋志碧的连载。“从 0 开始开发一款直播 APP ”系列来聊聊时下最火的直播 APP，如何完整的实...
