“ 今天这一篇主要是对bs4爬虫的完善，加上一些反爬虫的操作以及更正规的脚本写法。本来还打算再学两个爬虫的库的，但发现只学爬虫有点枯燥，所以下期换个主题，数据库走起（But爬虫可没有这么简单就完事了，之后还是会温故知新的）”
01 脚本详解
- 获取总页数和翻页
总页数就是多写一个函数定位到页数，脚本中的getPage()函数完成。（虽然个人觉得一眼就看出一共就多少页了，直接传个int就完事了）
翻页就是从第一页转到第二页，就是更换url的问题。一般是后缀发生变化，只需要对这部分进行修改。这里注意range()的范围是不包括结束点的，所以要page+1.
def getUrls(self,page):
urlHead="https://list.youku.com/category/show/c_96_s_6_d_1_p_"
urlEnd=".html"
for i in range(1,page+1):
url=urlHead+str(i)+urlEnd
self.urls.append(url)
- 添加Header和代理ip
添加headers:
常用的urllib2.urlopen( )里的参数可以直接是url,也可以是一个Request 对象，而urllib2.Request( )就是用来产生request对象的，headers是它的参数之一。通过传入headers对其进行修改（headers必须传入字典类型）
添加代理ip:
urllib2.Proxyhandler( )也需要传入一个字典类型，作用是通过代理去请求url.
添加完ProxyHandler之后，需要构建一个opener，使用urllib2.build_opener( ),参数是各种Handler，作用是把这些handler连起来，如果接下来用到urlopen(),需要把这个opener进行安装。
fakeHeaders = {'User-Agent': "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)"}
request = urllib2.Request(url, headers=fakeHeaders)
proxy = urllib2.ProxyHandler({'http': 'http://121.232.148.60:9000'})
opener = urllib2.build_opener(proxy)
urllib2.install_opener(opener)
- 如何随机选择一个Headers和ip
如果只使用一个headers和ip的话，也很容易被封。所以和之前的scrapy一样，建一个列表，然后随机挑选一个即可（其实主要是学习一个字典的取值以及random.choice()）
打开一个python文件a.py，构建一个包含header和ip两个列表，在当前目录新建另一个b.py文件，然后import。然后利用random.choice随机挑选一个。（下面是个简单例子）
# -*- coding:utf-8 -*-
header=[{'姓名':'lisa'},{'年龄':'88'},{'爱好':'唱歌'},{'补充':'够了'}]
ip=[{'ip1':'123455'},{'ip2':'3333'},{'ip3':'222333'}]
# 上面是a.py的内容，下面是b.py的内容
# -*- coding:utf-8 *-
import a
import random
exam=a.ip
print(random.choice(exam))
#随机挑选列表ip中的字典
exam1=a.ip[0].get('ip1')
print(exam1)
#获取字典的值
- 脚本
(这段脚本必须在python2的环境下运行，以及修改输出的文件路径，其实还有个小bug,听说格式化输出对中文无效，所以输出的排版先凑活一下，容我再研究研究)
# -*-coding:utf-8 -*-
from bs4 import BeautifulSoup
import urllib2
class ITEM(object):
movieName=None
movieActor=None
updateTime=None
class MovieInfo():
def __init__(self):
self.url = "https://list.youku.com/category/show/c_96_s_6_d_1_p_2.html"
self.items=[]
self.pages=self.getPage()
self.urls=[]
self.getUrls(self.pages)
self.spider(self.urls)
self.pipelines(self.items)
def getPage(self):
htmlContent=self.Response(self.url)
soup=BeautifulSoup(htmlContent,'lxml')
tag = soup.find('a', attrs={'charset': '-4-1-30'})
return int(tag.string)
def getUrls(self,page):
urlHead="https://list.youku.com/category/show/c_96_s_6_d_1_p_"
urlEnd=".html"
for i in range(1,page+1):
url=urlHead+str(i)+urlEnd
self.urls.append(url)
def spider(self,url):
for urllist in url:
htmlContent=self.Response(urllist)
soup = BeautifulSoup(htmlContent, 'lxml')
tag = soup.find_all('li', attrs={'class': "yk-col4 mr1"})
for taglist in tag:
item = ITEM() # 类movieItem的实例化
item.movieName = taglist.find('li', attrs={'class': 'title'}).a.string
bb = taglist.find('li', attrs={'class': 'title'}).next_sibling
if bb.next_sibling == None:
item.updateTime = bb.string
else:
item.updateTime = bb.next_sibling.string
aa = taglist.find('li', attrs={'class': 'actor'})
if aa == None:
aaa=u"主演：未指明"
item.movieActor=aaa
else:
item.movieActor = aa.get_text()
self.items.append(item)
def Response(self,url):
fakeHeaders = {
'User-Agent': "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)"}
request = urllib2.Request(url, headers=fakeHeaders)
proxy = urllib2.ProxyHandler({'http': 'http://121.232.148.60:9000'})
opener = urllib2.build_opener(proxy)
urllib2.install_opener(opener)
try:
response = urllib2.urlopen(url)
except:
print("获取数据失败")
else:
return response.read()
def pipelines(self,items):
with open('/home/zy/example.txt','w')as f:
for item in self.items:
f.write('{0:<30}\t{1:<20}\t{2:<30}\n'.format(item.movieName.encode("utf8"),item.updateTime.encode('utf8'),item.movieActor.encode("utf8")))
if __name__=='__main__':
MI=MovieInfo()
注意：Tag.string产生的结果也是unicode类型,与之前文章中讲到的get_text()一样，记得写入文件是要加上encode("utf8")
欢迎关注我的公众号：听见我的voices
