;p
Requests库的7个主要方法
1.
1.get方法
r=requests.get(url)
Response/ Request
Response对象的属性
通用代码框架
def getHtmlText(url):
try:
r=requests.get(url,timeout=30)
r.raise_for_status()
r.encoding=r.apparent_encoding
returnr.text
except:
return""
HTTP协议
Hypertext transfer protocol 基于请求与响应、无状态
网络爬虫的尺寸
Robots协议
网络爬虫排除标准/建议遵守
——>判断User-Agent进行限制
