python搭建自己的代理池
我将从以下几步开始简单介绍自己搭建的过程，供大家一起学习和进步，也希望获得批评指正。
（一）获取免费的ip代理
（二）检测ip代理的有效性和写入文件
（一）获取免费的ip代理
可以从爬取网上提供的免费ip代理，代码如下：
#!/user/bin/env python3
# -*- coding: utf-8 -*-
__author__ = 'Mr 雷'
import requests
from fake_useragent import UserAgent
import re
from lxml import etree
#获取西刺代理
def get_xici_proxy():
r=requests.get('https://www.xicidaili.com/?_id=015448211445',headers=headers,timeout=20)
r.encoding=r.apparent_encoding
pattern=r'<td class="country">.*?<td>(.*?)<.*?<td>(.*?)</td>.*?<td class="country">'
content_list=re.findall(pattern,r.text,re.S)
for content in content_list:
ip=content[0]+':'+content[1]
ip_list.append(ip)
print('-----xici爬取完毕-----')
#获取66代理
def get_66_proxy():
url='http://www.66ip.cn/'
html=etree.HTML(get_html(url))
page_num=html.xpath(r'//*[@id="PageList"]/a[12]/text()')[0]
print(page_num)
for i in range(1,int(page_num)+1):
new_url=url+str(i)+'.html'
text=get_html(new_url)
if text is None:
continue
pattern=r'</tr>.*?<tr>.*?<td>(.*?)</td>.*?<td>(.*?)</td>'
content_list=re.findall(pattern,text,re.S)
if len(content_list)==1:
continue
print('获取第{}页信息'.format(i))
content_list.pop(0)
for content in content_list:
ip=content[0] + ':' + content[1]
ip_list.append(ip)
print('-----66爬取完毕-----')
#获取89代理
def get_89_proxy():
url='http://www.89ip.cn/index_'
i=1
while True:
new_url=url+str(i)+'.html'
text=get_html(new_url)
if text is None:
continue
pattern=r'<tr>.*?>(.*?)</.*?<td>(.*?)</td>'
content_list = re.findall(pattern, text, re.S)
# 若该页面没有所需要的信息，结束循环
if not len(content_list):
break
print('获取第{}页信息'.format(i))
i += 1
content_list.pop(0)
for content in content_list:
ip=re.sub(r"[\n\t]", "", content[0])
port=re.sub(r"[\n\t]", "", content[1])
ip=ip + ':' + port
ip_list.append(ip)
print('总共成功爬取{}页'.format(i-1))
print('-----89爬取完毕-----')
#获取网页信息
def get_html(url):
global count
try:
r=requests.get(url,headers=headers,timeout=30)
r.raise_for_status()
r.encoding=r.apparent_encoding
return r.text
except:
print('获取网页失败')
count+=1
return None
if __name__ == '__main__':
ip_list=list()
count=0
ua=UserAgent()
headers={'User-Agent':ua.random}
i=1
get_xici_proxy()
get_66_proxy()
get_89_proxy()
f = open('ip_test1.txt', 'a+')
for ip in ip_list:
print('开始写入第{}条信息'.format(i))
f.write('\n' + ip)
i+=1
print('写入成功')
print('爬取失败{}页'.format(count))
f.close()
（二）检测ip代理的有效性
在此使用百度网址进行测试，代码如下：
#!/user/bin/env python3
# -*- coding: utf-8 -*-
__author__ ='Mr 雷'
import pandasas pd
import requests
import time
import random
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/64.0.3282.140 Safari/537.36 Edge/18.17763'}
ip_list=list()
text=pd.read_table('ip_test1.txt',names=['ip'])
count=0
i=0
# 提取出500个不同ip
for ipin random.sample(list(text['ip']),500):
i+=1
print('开始验证第{}个'.format(i))
proxies={'https':'https://'+ip,
'http':'http://'+ip}
url='https://www.baidu.com/'
try:
r=requests.get(url,proxies=proxies,timeout=10,headers=headers)
r.raise_for_status()
if r.status_code==200:
ip_list.append(ip)
except:
count +=1
continue
# time.sleep(3)
if len(ip_list):
f =open('ip_test2.txt', 'a+')
for ipin ip_list:
f.write('\n' + ip)
print('-----可用ip有{}个-----'.format(len(ip_list)))
print('-----不可用ip有{}个-----'.format(count))
等到代码执行结束，就可以进行实战了，从这些可用代理中随机选择即可。
注：由于本人涉及的只是小型爬虫项目，所以可能很多高端技术没有涉及到，但大概原理就是的，后面学习了可以再次填充。
