成果：
代码在github:
赶集爬虫
整体思路：
1.爬取page_url。
这个基本都是套路，很容易爬取，然后存在page_url这个数据库中
2.爬取index检索页
从page_url拿出来打开的页面，进入到page_url，把每个预览页面的url给剥离出来存到preview_url这个数据库。必须加上验证是否是有效页面。因为你不知道有多少页，所以就找一下数字比较大的页面看看区别是什么样的。
我在这里是用了大的页面没有page_box这个类，而终止爬取
3.爬取详情页面
所有的页面结构是一样的也就是说，他们做网站的轻松，所以搞得我们爬取也轻松，就是这个道理。也就是说，无论电脑还是饰品分类都是一样的页面布局。
这步实现是从preview_url数据库拿出来数据来爬取详细信息然后存储到info_details。每个条目加上url，方便以后去重
4.整体思路就是以上,还有一些新手段：
- 去重就是在数据库检索有没有这个数据一般我们提取数据库的数据是[i['url'] for i in first_grade.find()]，这样就返回了一个列表，你在用 url in [a,b,c……]这个布尔值来判断是否需要插入信息
新技能GET：
1.进程池，
import multiprocessing
def do_calculation(data):
return data * 2
def start_process():
print('Starting', multiprocessing.current_process().name)
if __name__ == '__main__':
inputs = list(range(10))
print('Inputs :', inputs)
# 这个是不用进程池，Python原生的方法
builtin_output = map(do_calculation, inputs)
print('Build-In :', [i for i in builtin_output])
# 用到进程池的方法
# 整个cpu_count()可以计算cpu内核数，不用装鲁大师去查了
# 开了4个进程池
pool_size = multiprocessing.cpu_count() * 2
print('pool_size:', pool_size)
pool = multiprocessing.Pool(processes=pool_size,
initializer=start_process, )
pool_outputs = pool.map(do_calculation, inputs)
pool.close()
pool.join()
print('Pool outputs:', pool_outputs)
输出是：
Inputs : [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
Build-In : [0, 2, 4, 6, 8, 10, 12, 14, 16, 18]
pool_size: 4
Starting SpawnPoolWorker-1
Starting SpawnPoolWorker-3
Starting SpawnPoolWorker-2
Starting SpawnPoolWorker-4
Pool outputs: [0, 2, 4, 6, 8, 10, 12, 14, 16, 18]
自己写个了东西，便于自己加深印象：
from multiprocessing import Pool
from time import *
def delay_1(i):
print('delay_one start{}'.format(i), ctime())
sleep(2)
print('delay_one end{}'.format(i), ctime())
def delay_2(i):
print('delay_two start{}'.format(i), ctime())
sleep(4)
print('delay_two end{}'.format(i), ctime())
if __name__ == '__main__':
print('all start', ctime())
pool = Pool()
# 电脑是双核的，process=2，可以不用写
# 设置process=4真的可以提升速度，但是好像不推荐
pool.map(delay_1, [1, 2, 3, 4])
# 前者结束后后者开始
pool.map(delay_2, [1, 2])
pool.close()
pool.join()
print('all end', ctime())
输出结果：
all start Wed Aug 10 22:44:55 2016
delay_one start1 Wed Aug 10 22:44:55 2016
delay_one start2 Wed Aug 10 22:44:55 2016
delay_one end1 Wed Aug 10 22:44:57 2016
delay_one start3 Wed Aug 10 22:44:57 2016
delay_one end2 Wed Aug 10 22:44:57 2016
delay_one start4 Wed Aug 10 22:44:57 2016
delay_one end3 Wed Aug 10 22:44:59 2016
delay_one end4 Wed Aug 10 22:44:59 2016
delay_two start1 Wed Aug 10 22:44:59 2016
delay_two start2 Wed Aug 10 22:44:59 2016
delay_two end2 Wed Aug 10 22:45:03 2016
delay_two end1 Wed Aug 10 22:45:03 2016
all end Wed Aug 10 22:45:03 2016
进程池是个什么东西呢？可以看到pool.map(func,literal)的用法就是后面可迭代数据加到前面func中，本来我们一个参数放到一个函数运行结果出来需要2s的话，4个是8s,但是我们开了多进程，默认双核，所以进程池是两个处理器处理数据，也就是说一回可以处理2个，时间减半，只需要4s。这是在需要大量迭代数据的进程中比较快捷的方法。
pool()之间不阻塞，一个完成以后开启另一个
2.split的用处
str = """
1
2
3
4
"""
这样的打出来是有格式的，所以用str.split(),来处理一下，就返回一个列表每一行就是列表的一个元素
3.增加models
因为两个py（一个a,一个b）中建立pymongo的话,a、b分别初始化的话会覆盖掉对方，所以增加了models,专用于
数据库初始化，如果在a中要用到models，就在文件a中import models，然后在a中：
直接models.first_grade.save(data)这样使用。
4.import的一些问题,
如果用到A中的一些函数，一定要一个一个写出来，不要from A import *,这样没人知道你突然用到某个 函数是从A中import的。
文件test1.py中有两个函数：a和b，其中b用到了a函数。在test2中import了test1以后，怎么用a函数呢？
test1.a()使用，用b也是用test1.b(),但是b用到了a啊？没关系?真的没关系!即便在test2中写from test1 import b，直接用b(),函数b()也会引用到a(),而不用我们操心去多添加一行from test2 import a(这行是完全没有必要的)
5.soup.find()的使用
soup.find('a', 'apple')挑选出来的就是<a class='apple'></a>元素，但只是符合的第一个元素，不是列表，如果
是soup.find_all()才选出所有符合的列表
总结，能够爬取10w级别数据是因为这些数据的info页面结构是一样的。因为对于公司方便，所以对我们也方便。
爬虫告一段落了，爬虫真的没什么难学的，基本都是套路，习惯了就好了
