Tips：
作为一个产品狗，要跟上人工智能、大数据的浪潮，开始自学Python，Python基础基本已经看完，想要找方向练练手，于是把现阶段的学习目标定为爬虫。从网上看了各种教程，以学爬虫之道为教程基础，开始学习并记录、整理所学内容。
一、什么是爬虫
爬虫：一段自动抓取互联网信息的程序，从互联网上抓取对于我们有价值的信息。
二、Python爬虫架构
Python 爬虫架构主要由五个部分组成，分别是：调度器、URL管理器、网页下载器、网页解析器、应用程序（爬取的有价值数据）。
调度器：相当于一台电脑的CPU，主要负责调度URL管理器、下载器、解析器之间的协调工作。
URL管理器：包括待爬取的URL地址和已爬取的URL地址，防止重复抓取URL和循环抓取URL，实现URL管理器主要用三种方式，通过内存、数据库、缓存数据库来实现。
网页下载器：通过传入一个URL地址来下载网页，将网页转换成一个字符串，网页下载器有urllib2（Python官方基础模块）包括需要登录、代理、和cookie，requests(第三方包)
网页解析器：将一个网页字符串进行解析，可以按照我们的要求来提取出我们有用的信息，也可以根据DOM树的解析方式来解析。网页解析器有正则表达式（直观，将网页转成字符串通过模糊匹配的方式来提取有价值的信息，当文档比较复杂的时候，该方法提取数据的时候就会非常的困难）、html.parser（Python自带的）、beautifulsoup（第三方插件，可以使用Python自带的html.parser进行解析，也可以使用lxml进行解析，相对于其他几种来说要强大一些）、lxml（第三方插件，可以解析 xml 和 HTML），html.parser 和 beautifulsoup 以及 lxml 都是以 DOM 树的方式进行解析的。
应用程序：就是从网页中提取的有用数据组成的一个应用。
下面用一个图来解释一下调度器是如何协调工作的:
三、学习路线
第一阶段：基础
入门要就是在打基础，所以要从最基础的库学起。下面是几个库是入门最经典的库
1）urllib
它属于 Python 标准库。该库的作用是请求网页并下载数据。在学习该库之前，最好把 HTTP 协议了解下。这会大大提高后面的学习效率。
先学会如何使用 urllib 请求到数据，再学习一些高级用法。例如：
设置 Headers: 某些网站反感爬虫的到访，于是对爬虫一律拒绝请求。设置 Headers 可以把请求伪装成浏览器访问网站。
Proxy 的设置: 某些站点做了反倒链的设置，会将高频繁访问的 IP 地址封掉。所以我们需要用到代理池。
错误解析：根据 URLError 与 HTTPError 返回的错误码进行解析。
Cookie 的使用：可以模拟网站登录，需要结合 cookielib 一起使用。
2）re
re 是正则表达式库。同时也是 Python 标准库之一。它的作用是匹配我们需要爬取的内容。所以我们需要掌握正则表达式常用符号以及常用方法的用法。
3）BeautifulSoup
BeautifulSoup 是解析网页的一款神器。它可以从 HTML 或者 XML 文件中提取数据。配合 urllib 可以编写出各种小巧精干的爬虫脚本。
第二阶段：进阶
当把基础打牢固之后，我们需要更进一步学习。使用更加完善的库来提高爬取效率
1) 使用多线程
使用多线程抓取数据，提高爬取数据效率。
2）学习 Requests
Requests 作为 urlilb 的替代品。它是更加人性化、更加成熟的第三方库。使用 Requests 来处理各种类型的请求，重复抓取问题、cookies 跟随问题、多线程多进程、多节点抓取、抓取调度、资源压缩等一系列问题。
3）学习 Xpath
Xpath 也算是一款神器。它是一款高效的、表达清晰简单的分析语言。掌握它以后介意弃用正则表达式了。一般是使用浏览器的开发者工具 加 lxml 库。
4）学习 Selenium
使用 Selenium，模拟浏览器提交类似用户的操作，处理js动态产生的网页。因为一些网站的数据是动态加载的。类似这样的网站，当你使用鼠标往下滚动时，会自动加载新的网站。
第三阶段：突破
1）学习 Scrapy
Scrapy 是一个功能非常强大的分布式爬虫框架。我们学会它，就可以不用重复造轮子。
2）数据存储
如果爬取的数据条数较多，我们可以考虑将其存储到数据库中。因此，我们需要学会 MySql
MongoDB、SqlLite的用法。更加深入的，可以学习数据库的查询优化。
第四阶段：数据展示
当爬虫完成工作，我们已经拿到数据。我们可以利用这些数据做数据分析、数据可视化、做创业项目原始启动数据等。
我们可以学习 NumPy、Pandas、 Matplotlib 这三个库。
NumPy ：它是高性能科学计算和数据分析的基础包。
Pandas : 基于 NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。它可以算得上作弊工具。
Matplotlib：Python中最著名的绘图系统Python中最著名的绘图系统。它可以制作出散点图，折线图，条形图，直方图，饼状图，箱形图散点图，折线图，条形图，直方图，饼状图，箱形图等。
转自学爬虫之道
