前言
爬虫是python最常用的功能之一了，虽然不能凭爬虫这一项技能出去找一份高薪工作，但是平时拿来娱乐一下还是挺不错的。
其实只要学会python的基础知识，那爬虫写起来就很简单了，只要学会下面三个库，其他的就so easy了
- requests（发送请求）
- os（操作本地文件）
- BeautifulSoup4（分析网页数据）
当然，如果会一些html知识，那就更好了。
准备工作
这次我们需要爬一波电脑壁纸，首先去网上找一个电脑壁纸的网站，我这里随便找了一个，名字叫ZOL桌面壁纸（不知道是不是正经网站）。
接着按自己的需求找壁纸了：首先选电脑壁纸，然后选择壁纸尺寸（我的电脑分辨率是1920x1080），最后选择按下载量排行（选择困难症的同学就跟我一样吧），这样就找到了我们的基础网址http://desk.zol.com.cn/1920x1080/hot_1.html
我的python版本是3.7.3
上面提到的三个库，如果本地没安装，就需要通过pip安装一下了，pip install requests, pip install os, pip install beautifulsoup4，注意：这里需要安装beautifulsoup4，如果直接安装beautifulsoup就会默认安装bs3，这个基本不用了。
使用bs4解析网页的时候需要使用解析器，当然bs4有自带的解析器，但是效率很低，这里我们使用lxml解析器，所以也要提前安装这个解析器，pip install lxml
分析网页
我们需要下载这一页所有合集的图，首先右键第一张图，检查元素
里面的这些li标签，就是对应上面的各个合集，li里a标签的链接就是点进去具体图片的链接，接着分析进去后的页面
我们需要1920x1080的真正图片，检查这个元素找到里面的链接
找到链接以后进入得到我们需要下载的图片
至此，我们已经找到第一个合集中第一张图片的下载地址，其他图片也是类似。接下来我们就需要编写爬虫，按照这个规则爬取所有图片。
编写爬虫
首先导入我们需要的库
import requests
import os
from bs4 import BeautifulSoup
接着编写我们主要的爬虫逻辑
def home():
# 下载图片保存图片的基础地址
base_path = 'D:/pythonWorkspace/background_pic/'
# 网站的主地址
base_url = 'http://desk.zol.com.cn'
# 开始执行的首页地址，如果要下载第二页合集，可以将hot_2，依此类推
url = 'http://desk.zol.com.cn/1920x1080/hot_1.html'
# 请求得到首页文档
response = requests.get(url)
# 使用BeautifulSoup转成tag对象
soup = BeautifulSoup(response.content, 'lxml')
# 根据上面图二找到所有li
list = soup.find_all(class_="photo-list-padding")
# 遍历所有li，得到所有合集
for index, li in enumerate(list):
print('第'+str(index)+'个合集')
# 得到子页面的href
href = li.a['href']
href = base_url + str(href)
# name作为本地文件夹名字
name = li.span.em.string
file_path = base_path + str(name) + '/'
# 创建文件夹
create_file(file_path)
# 请求子页面并转成Tag对象
response = requests.get(href)
soup = BeautifulSoup(response.content, 'lxml')
# 找到子页面所有合集图片
show_img = soup.find('ul', id='showImg')
# 有些网页没有showImg，这里特殊处理一下，否则会报错
if show_img is None:
continue
children = show_img.children
# 遍历子页面里的所有图片
for i, child in enumerate(children):
href = child.a['href']
href = base_url + str(href)
# 找到每张图片1920*1080
response = requests.get(href)
soup = BeautifulSoup(response.content, 'lxml')
# 根据上面图四定位到1920*1080的图
img1920 = soup.find(id='1920x1080')
# 有些图片没有这个分辨率，判断一下
if img1920:
href = img1920['href']
href = base_url + str(href)
response = requests.get(href)
soup = BeautifulSoup(response.content, 'lxml')
# 得到图片的下载链接
src = soup.body.img['src']
# 开始下载
download(i, src, file_path)
定义创建文件夹和下载方法，注意这两个方法要放在home()之前，否则home()方法里会提示找不到这两个方法的。
# 创建文件夹
def create_file(file_path):
if os.path.exists(file_path) is False:
os.makedirs(file_path)
# 下载图片并保存到本地指定位置
def download(index, url, file_path):
try:
out = requests.get(url)
f = open(file_path+str(index)+'.jpg','ab')
f.write(out.content)
f.close()
print('下载结束')
except Exception as e:
print(e)
最后执行mian方法
if __name__ == '__main__':
home()
最后
看一下成果图
妈妈再也不用担心我没有电脑壁纸换了！
