1.先提供源码
2.原因，想法:
- 其实 github 也有很多类似的工具， 总是觉得没有自己写的用着顺手。
- 比如，我需要把代理分中外2种，那么迟早要自己来动手做的。
3.下载
- 这里我找到了4个提供免费代理的网站，其中3个是用 scrapy 写的，另外一个是用 requests 写的。以后还可以添加新的。
- 全都保存在同一个数据集里面，即 MongDB 的 collections， 以下的数据集指的都是这个。
4.校验
- 标准 ：响应时间 timeout=1 , 而且 返回结果，与自己真实的 ip 不相等时，那么就是好用的。
def check_status(self, p):
url = "http://httpbin.org/ip"
resp = requests.get(url, proxies=p, timeout=1)
if resp.status_code == 200 and resp.json()["origin"] != self.real_ip:
print("This is a good one!", p)
- 用哪种多线程：
2.1 aiohttp + asyncio 这个组合我试了，不合适。
2.2 multiprocessing.dummy.Pool ，如果遇到一个线程出问题，整体就退出了，不行。
2.3 最终我还是选择 下面这种写法:
from concurrent.futures import ThreadPoolExecutor, wait, ALL_COMPLETED
def run(self):
raw_data = self.db[self.coll_name].find()
with ThreadPoolExecutor(max_workers=50) as executor:
future_tasks = [executor.submit(self.check_status, p) for p in raw_data]
wait(future_tasks, return_when=ALL_COMPLETED)
5.保存 （讲真的， 这里才是我想说的重点）
- 数据集的名称问题: 如果每次都新建一个数据集，那么每次都要起名字，而且在别处调用的话，更是不方便。
- 直接修原始数据：使用多线程进行校验的过程中，把劣质的代理删掉，这一步执行是失败的。
- 综上，我是把有效的代理保存在内存中 ，然后再删掉旧的数据集，并使用旧数据集的名称新建一个数据集。
# self.good = []
self.db.drop_collection(self.coll_name)
self.db[self.coll_name].insert_many(self.good)
- 代理分中外，思路也是一样的。
6.使用
- 在自己需要的时候，可以写入:
from pymongo import MongoClient
# 也可以更简洁，写成列表推导式
data = MongoClient('localhost', 27017)['proxies_db']['proxies_coll'].find()
for dic in data:
print({f'{dic["protocol"].lower()}': f'{dic["protocol"].lower()}://{dic["ip"]}:{dic["port"]}'})
- 或是在 scrapy 中写一个代理中间件
DOWNLOADER_MIDDLEWARES = {'core_2048.middlewares.ProxyMiddleware': 543,} # stttings.py
from pymongo import MongoClient
class ProxyMiddleware(object):
def __init__(self):
self.data = MongoClient('localhost', 27017)['proxies_db']['world'].find()
self.proxies = [f'{dic["protocol"].lower()}://{dic["ip"]}:{dic["port"]}' for dic in self.data]
def process_request(self, request, spider):
proxy = random.choice(self.proxies)
request.meta['proxy'] = proxy
