• 基本爬虫知识python库urllib、urllib2、requests
• urllib、urllib2、request三者关系
• 从python的urllib开始
• urllib2学习
• requests学习
• ps：如何用浏览器抓包分析
• ps：爬虫分析小工具
• 页面提取
• 正则表达式
• xpath
• beautifulsoup
• 动态页面抓取selenium+phantomjs
• scrapy框架
• 基本用法
• 中间件-代理、登录
• 抓取环
• 分布式爬虫
• scrapy_redis，
• scrapy-cluster（加入kafka利器）
• scrapy的改造
• 自定义下载器
• 手机app数据抓取
• 利用代理抓接口（青花瓷）
• appium（selenium和appium原本都是自动化测试工具，用来做爬虫也是很好的）

学习第一个库：urllib

我们先从urllib开始学习吧。
既然是爬虫。我们就有个抓取的目标啊。我做了一个页面，可以作为我们抓取的目标来练习。在这个页面查你可以查ip代理、ip物理地址、或是headers伪装是否有效、cookies是否添加成功、get请求、post请求等。后面我们会继续用这个页面测试。

http://www.tenliu.top/index.php/httpclient/

urllib常用方法

urllib.urlopen()

urllib.urlopen(url[, data][, proxies])

三个参数：

• url：url字符串
• data：[可选]，请求参数
• proxies：[可选]，代理ip

urllib.urlencode()

对dict类型进行url编码

urllib.quote()

对字符串进行url编码

在例子中实践

最基本爬虫

直接上代码啦

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import urllib
import urllib2
import requests
import sys
reload(sys) 
sys.setdefaultencoding('utf8')
def first():
    #最基本的
    url = "http://www.tenliu.top/index.php/httpclient/"
    resp = urllib.urlopen(url)
    #页面源码
    print resp.read()
    #返回的头信息
    print resp.info()
    #返回的http状态码
    print resp.getcode()
    #响应的url
    print resp.geturl()
if __name__=="__main__":
    first()

执行一下看看，这个页面就抓下来了，看其实爬虫就是这么简单···

get请求提交数据

urlencode()

请求页面也是可以带参数访问的：
http://www.tenliu.top/index.php/httpclient?country=%E4%B8%AD%E5%9B%BD&ranking=2
点击访问看看

现在有个问题，我们看到在浏览器的地址栏中参数明明显示如下

http://www.tenliu.top/index.php/httpclient?country=中国&ranking=2

为什么复制出来，汉字“中国”被编码了呢？
这就是url编码，其目的是什么呢？我们知道url的参数解析，会按照规定的特殊字符进行解析，例如不同参数之间使用"&"分割，如果一个参数值当中含有这些特殊的字符，岂不是让url解析变得混乱。因此需要url编码。urllib中提供了url编码的函数：urlencode()和quote()

• urllib.urlencode()。可以对dict进行url编码。这个函数似乎就是urllib存在的意义了，urllib2中就没有这个函数。
• urllib.quote()，对一般的字符串进行url编码。urllib2中也有这个函数啊，urllib2.quote()。
  我们看一下urllib.urlencode()的使用

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import urllib
import urllib2
import requests
import sys
reload(sys) 
sys.setdefaultencoding('utf8')
def thrid_1():
    #传递数据，get请求。对dict进行url编码，
    data = {'country': '中国', 'ranking': 2}
    params = urllib.urlencode(data)
    url = "http://www.tenliu.top/index.php/httpclient" +"?"+ params
    print url
    resp = urllib.urlopen(url)
    print resp.read()
if __name__=="__main__":
    thrid_1()

quote()

那么urllib.quote()使用场景是什么呢？例如如下页面
http://www.tenliu.top/index.php/httpclient/?query=%E4%B8%AD%E5%9B%BD%202018%20%E8%8A%82%E5%81%87%E6%97%A5
在搜索页面很常见的url，比如百度搜索，url参数是对query的url编码

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import urllib
import urllib2
import requests
import sys
reload(sys) 
sys.setdefaultencoding('utf8')
def thrid_2():
    #传递数据，get请求。urllib.quote对字符串进行url编码。urllib2.quote()有同样的函数。
    url = "http://www.tenliu.top/index.php/httpclient?query="+ urllib.quote("中国 2018 节假日")
    print url
    resp = urllib.urlopen(url)
    print resp.read()
if __name__=="__main__":
    thrid_2()

post请求提交数据

post方式提交数据的页面，爬虫要怎么抓取。post请求提交的参数，并不表现在链接中，可以抓包看看，提交的参数k/v都是什么。
http://www.tenliu.top/index.php/httpclient/
这个页面中有个表单，可以post提交数据，随便填写内容，post提交吧。
这个过程我们抓包分析一下看看
【爬虫-抓包分析】

如何抓包请看
爬虫-抓包分析
例如我填写小明和123，抓包可以看到form表单提交的数据如下:

login_name:小明
login_pwd:123

urllib.urlopen()支持post请求，用法如下：
urllib.urlopen(url,data)
当data为空是，urlopen发送的就是get请求，data有值时，发送的就是post请求。
爬虫代码如下

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import urllib
import urllib2
import requests
import sys
reload(sys) 
sys.setdefaultencoding('utf8')
def fourth():
    #传递数据，post请求
    data = {'login_name': '小明', 'login_pwd': '123'}
    params = urllib.urlencode(data)
    url = "http://www.tenliu.top/index.php/httpclient"
    resp = urllib.urlopen(url, params)
    print resp.read()
if __name__=="__main__":
    fourth()

添加ip代理

很多网站又反扒策略，当一个ip过于频繁的请求这个网站是，这个ip有可能就会被这个网站封掉，一段时间这个ip是无法访问该网站。
或是在大陆国外一些资源是访问不了的，爬虫加上国外的ip代理，就可以抓取了。
urllib.urlopen()支持ip代理设置：
urllib.urlopen(url,proxies)
代码：

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import urllib
import urllib2
import requests
import sys
reload(sys) 
sys.setdefaultencoding('utf8')
def second():
    url = "http://www.tenliu.top/index.php/httpclient?k1=v1&k2=v2"
    proxies = {'http': 'http://www.someproxy.com:3128'}
    resp = urllib.urlopen(url, proxies=proxies)
    print resp.read()
if __name__=="__main__":
    second()

总结

以上基本覆盖了urllib的爬虫方法。现在我们再看看urllib的缺点：
1、最大的问题就是无法伪装，headers无法设置这样写的爬虫很容易被发现进而被ban啊，并且cookies也没法带
2、没有session，登录状态怎么保持
3、···
基于此，python基金会不得不推出urllib2作为urllib的补充版或增强版，而urllib2的表现如何呢，我们下次介绍