作业思路
昨天在尝试了几次拉勾网的爬取，因为调试了几次后运行，然后IP就被封了
谷歌了一番，发现谷歌上还是比较少关于这方面的教程，要么是重复，要么是一笔带过，心塞……
进入正题：一个爬虫如何反Ban?
让请求更像是浏览器发出的
之前只是用了一个默认的头，这样很容易被网站给识别出来，毕竟你一个浏览器短时间发出这么多请求，非人也，所以可以联想到用很多个浏览器，这样就降低了一个浏览器发出请求的数量，看起来合理了那么些，列出很多浏览器的头，然后随机选，那头哪里来呢？这里推荐一个网站
想要更多头点我
代码在这里：
middlewares.py
# -*-coding:utf-8-*-
import random
from scrapy.downloadermiddlewares.useragent import UserAgentMiddleware
class RotateUserAgentMiddleware(UserAgentMiddleware):
#初始化头
def __init__(self, user_agent=''):
self.user_agent = user_agent
#通过random函数，随机选择头，然后伪装请求
def process_request(self, request, spider):
ua = random.choice(self.user_agent_list)
if ua:
print ua, '-----------------'
request.headers.setdefault('User-Agent', ua)
# 罗列出头
user_agent_list = [
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1"
"Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
"Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
"Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
"Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
"Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"
]
setting.py
DOWNLOADER_MIDDLEWARES = {
'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware':None,
'lagou.middlewares.RotateUserAgentMiddleware':400,
}
让手速慢一点
一个爬虫一秒钟请求N次，这不就是告诉别人说：“你看，我是爬虫，我的手速有多快呀”，然后ban的就是你这只爬虫，所以可以设置一下下载延迟（setting.py）：
DOWNLOAD_DELAY = 1，虽然是慢一点，但是稳定，保险。
多个地点一起请求
如何来改变自己请求的地点？一般来说，我们的IP地址就是我们的地理位置标签，所以只要改变我们的IP，就可以改变我们请求的位置，随机IP请求，就能够模拟出来自全国各地的用户来访问。
所以在这里就需要用到代理IP池了，代理IP可以在通过网站上提供的，更多代理IP请点我
具体如何实现呢？
middlewares.py编写一个设置代理的类
import random
from scrapy.downloadermiddlewares.useragent import UserAgentMiddleware
import base64
from settings import PROXIES
class ProxyMiddleware(object):
#编写传递请求的方法
def process_request(self, request, spider):
proxy = random.choice(PROXIES)
#随机选择设置中的代理
if proxy['user_pass'] is not None:
request.meta['proxy'] = "http://%s" % proxy['ip_port']
#request.meta是一个字典，包含了很多请求附加信息，这里是更改请求的IP
encoded_user_pass = base64.encodestring(proxy['user_pass'])
#Base64是一种基于64个可打印字符来表示二进制数据的表示方法
request.headers['Proxy-Authorization'] = 'Basic ' + encoded_user_pass
print "Successful" + proxy['ip_port']
else:
print "Fail" + proxy['ip_port']
request.meta['proxy'] = "http://%s" % proxy['ip_port']
#再换一个IP...注意是一次请求用一个有效的IP
分析：
在注释中提到request.meta，先来探究一下request.meta中到时有哪些东西，用scrapy shell测试了一下，所返回的内容是：
{'depth': 0,
'download_latency': 16.514000177383423,
'download_slot': 'docs.python-requests.org',
'download_timeout': 180.0,
'handle_httpstatus_list': <scrapy.utils.datatypes.SequenceExclude at 0x45a84b0>,
'proxy': 'http://125.73.40.123:8118'}
从这里看，我们可以先更改请求的proxy
那么我们再来探究一下request.headers里有什么内容，同样调试，得到
{'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Encoding': 'gzip,deflate',
'Accept-Language': 'en',
'Proxy-Authorization': 'Basic ',
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3'}
从字典上看需要修改的是proxy-authorization（因为其他的都是固定的）
setting.py添加IP
PROXIES = [
{'ip_port': '119.5.1.38:808', 'user_pass': ''},
{'ip_port': '115.216.31.87:8118', 'user_pass': ''},
{'ip_port': '125.73.40.123:8118', 'user_pass': ''},
{'ip_port': '171.38.35.20:8123', 'user_pass': ''},
{'ip_port': '171.38.35.97:8123', 'user_pass': ''},
{'ip_port': '222.85.39.136:808', 'user_pass': ''},
]
setting.py设置
DOWNLOADER_MIDDLEWARES = {
'scrapy.contrib.downloadermiddleware.httpproxy.HttpProxyMiddleware': 110,
'lagou.middlewares.ProxyMiddleware': 100,
}
如何来获取代理IP
上面有提供获取代理IP的网址，这里来说一下如何批量采集
编写脚本：
get_ip.py
# -*- coding: utf-8 -*-
import lxml
import requests
import re
import sys
from bs4 import BeautifulSoup
f = open('proxy.txt' , 'w')
headers = {"user-agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36"}
for page in range(1, 101):
link = 'http://www.xici.net.co/nn/' + str(page)
html = requests.get(link, headers=headers)
soup = BeautifulSoup(html.content, 'html.parser')
trs = soup.find('table', id='ip_list').findAll('tr')
for tr in trs[1:]:
tds = tr.find_all('td')
ip = tds[1].get_text()
port = tds[2].get_text()
protocol = tds[5].text.strip()
if protocol == 'HTTP' or protocol == 'HTTPS':
f.write('%s=%s:%s\n' % (protocol, ip, port) )
print '%s=%s:%s' % (protocol, ip, port)
f.close()
但是，问题也来了，如何保证这些IP都是有用的呢？所以需要验证一下IP是否有用
验证代理IP是否有效
test_ip.py
# -*- coding: utf-8 -*-
import requests
import sys
import threading
import time
inFile = open('proxy.txt', 'r')
outFile = open('available.txt', 'w')
#of = open('proxy.txt' , 'w')
headers = {"user-agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36"}
lock = threading.Lock()
def test():
while True:
line = inFile.readline()
if len(line) == 0: break
protocol, proxy = line.split('=')
try:
proxies = {protocol: proxy}
r = requests.get("https://www.lagou.com", headers=headers, proxies=proxies)
#采用requests的状态码来判断
if r.status_code == requests.codes.ok:
print 'add proxy:' + proxy
outFile.write(proxy + '\n')
else:
print '...'
except:
print "fail"
#采用多线程
all_thread = []
for i in range(50):
t = threading.Thread(target=test)
all_thread.append(t)
t.start()
for t in all_thread:
t.join()
inFile.close()
outFile.close()
作业结果：
作业结果
计算了一下页面上所有的个数，这个个数只和总数相差不超过5个，相较于第一次爬取的结果为50多个好了很多。
作业中的问题
啊...这是学爬虫来研究的最久的一篇...
还有两个问题没有解决
问题一：
上面的代码
encoded_user_pass = base64.encodestring(proxy['user_pass'])
#Base64是一种基于64个可打印字符来表示二进制数据的表示方法
request.headers['Proxy-Authorization'] = 'Basic ' + encoded_user_pass
为什么要加encoded_user_pass = base64.encodestring(proxy['user_pass'])
问题二：
在采用了代理IP后，测试过了，正式爬取的时候，还是有一些IP会有这样的信息显示
计算机积极拒绝是什么鬼
问题三：
还是没有采用数据库的存储方式，下次改进
