爬虫里面,我们不可避免的要用urllib中的urlopen()和requests.get()方法去请求或获取一个网页的内容,这里面的区别在于urlopen打开URL网址,url参数可以是一个字符串url或者是一个Request对象,返回的是http.client.HTTPResponse对象.http.client.HTTPResponse对象大概包括read()、readinto()、getheader()、getheaders()、fileno()、msg、version、status、reason、debuglevel和closed函数,其实一般而言使用read()函数后还需要decode()函数,返回的网页内容实际上是没有被解码或的,在read()得到内容后通过指定decode()函数参数,可以使用对应的解码方式。
requests.get()方法请求了站点的网址,然后打印出了返回结果的类型,状态码,编码方式,Cookies等内容
我在刚学到他们的时候也很懵逼,自己慢慢的琢磨,然后用个笨办法写了个这个来做区别
使用方法和他们区别的代码如下:
fromlxmlimportetreeimportrequestsfromurllibimportrequesturl="http://www.baidu.com/"req=request.Request(url)response1=request.urlopen(req)html1=etree.HTML(response1.read())print("这个是response1: ",response1)#打印出response1是什么鬼print("这个是type(response1: ",type(response1))#打印出response1的类型print("这个是type(html1): ",type(html1))#打印html1的类型print("这个是html1: ",html1)#打印出response1的用etree解析为html网页元素#打印网页的文本信息,由于这个response1只能调用一次所以这里会打印出空print(response1.read().decode())#打印出网页源码的文本信息print('*'*70)response2=requests.get(url)html2=etree.HTML(response2.text)print("这个是response2: ",response2)#打印出response2的内容print("这个是type(response2): ",type(response2))#打印出response2的类型print("这个是type(response2.text): ",type(response2.text))#打印出response2用text输出是的类型print(type(response2.content.decode()))#打印出内容解码的类型print("这个是type(html2): ",type(html2))#打印出response2用etree解析为网页元素信息的html2的类型print("这个是html2 :",html2)#打印出response2用etree解析为网页元素信息的html2#打印网页的文本信息,用resquests有三种方法可以打印出网页的信息,这三种方法打印出来的都一样的response2.encoding='utf-8'#给网页指定编码信息,是为了用text输出网页文本信息的print(response2.text)#打印出网页的文本信息print(response2.content.decode())#打印出网页源码的文本信息,这样写是为了避免出现中文乱码print(str(response2.content,"utf-8"))#打印出网页源码的文本信息,这样写是为了避免出现中文乱码
结果如下:
requests对象的get和post方法都会返回一个Response对象，这个对象里面存的是服务器返回的所有信息，包括响应头，响应状态码等。其中返回的网页部分会存在.content和.text两个对象中。两者区别在于，content中间存的是字节码，而text中存的是Beautifulsoup根据猜测的编码方式将content内容编码成字符串。直接输出content，会发现前面存在b'这样的标志，这是字节字符串的标志，而text是'，没有前面的b,对于纯ascii码，这两个可以说一模一样，对于其他的文字，需要正确编码才能正常显示。大部分情况建议使用.text，因为显示的是汉字，但有时会显示乱码，这时需要用.content.decode('utf-8')，中文常用utf-8和GBK，GB2312等。这样可以手工选择文字编码方式。.text是现成的字符串，.content还要编码，但是.text不是所有时候显示都正常，这是就需要用.content进行手动编码
简而言之:
text返回的是Unicode型的数据
content返回的是是二进制的数据。
也就是说，如果你想取文本，可以通过r.text。
如果想取图片，文件，则可以通过r.content
再附上一张requests的图:
喜欢小编的可以关注一下小编
