一、概述
一般情况下，一套完整的数据分析的主要过程是：
- 需求分析
- 数据获取
- 数据清洗
- 数据分析的逻辑构建
- 可视化
- 报告撰写
- 总结反思
很多时间，公司的数据是从网站后台直接导出给数据分析师。但是在某些情况下，数据并不能从后台直接获取，或者只能从别的公司的网站获取，这时候数据分析师不光需要掌握数据分析的逻辑，还需要掌握一定的数据获取能力，最便捷的数据获取方式就是python爬虫。
本文内容：
本文主要爬取并下载教育部从1981年至今发布的所有通知、公告、政策文件，进而通过数据分析来呈现中国近30年的教育发展及未来走向。
二、运行环境
- python3.7
- win10或mac
- pycharm （一款好用的IDE）
- 所需要的python库：
(1) requests: python中较为基础的爬虫库，多数情况用于获取网页信息,具体学习移步：
requests官方教程
(2) PyQuery：一个好用的解析库，用来定位你所需要的信息在网页中的位置。具体学习移步：
PyQuery官方教程
(3) pandas：python数据分析中最常用的库，功能异常强大。
具体学习移步：
pandas官方教程
(4) json：读取json文件的库（python默认已安装）
(5) xlwt：读取excel文件的库（读取excel报库缺失错误时手动安装）
具体的安装直接在cmd或者终端中输入：
pip（或pip3） install 库命，例如
pip install requests
注：也可以直接使用现成的一些python爬虫轮子，例如强大的Scrapy（本文不做介绍）
三、爬虫过程
1. 在程序中导入所需的库：
import requests # 导入requests
from pyquery import PyQuery as pq # 导入PyQuery
import time
import pandas as pd
import json
import xlwt
2. 构造爬虫的headers
顾名思义，就是一些爬虫的伪装，需要向浏览器提交的数据等，统一放入headers中。
User-Agent 后面是跟的浏览器的伪装，由于服务器一般拒绝爬虫爬取，因为会造成服务器压力，因此一般都需要伪装
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'
}
3. 一些变量赋值，如网站的地址，输出文件的名字
url_base1 = 'http://www.moe.gov.cn/was5/web/search?channelid=258518&searchword=&page='
# 网站的部分ID地址，page=的后面是页码的数，在之后的循环中使用
file_name = 'Policy.cvs'
4. 爬虫逻辑及网站预分析
在Chrome浏览器打开地址：
http://www.moe.gov.cn/was5/web/search?channelid=258518&searchword=&page=1
右键 “检查” ，如图：
源网页代码.png
需要爬取并下载的内容：
（1）文章标题
（2）发布时间
检查源代码发现一些标题由于过长而只显示了部分，后面是...，这就需要进入二级的网站，再从二级网站获取标题。如图
二级网页.png
有了这些，那么具体的爬虫过程也就很清楚了：
（1）首先，进入第一页
（2）获取一个标题的链接与时间，时间直接存储，用链接打开二级网站
（3）在二级网站获取标题
（4）重复（2）（3），直到这一页中的题目与时间全部存储完毕
（5）转入第二页
（6）重复（2）（3）（4）遍历这一页中的题目与时间
（7）转入第三页.......之后就是程序的循环了
5. 具体代码爬取过程
- 定义爬取一页的函数以便在后续程序中调用
def get_one_page(url):
try:
response = requests.get(url, headers=headers) # 用requests获取网站代码
response.encoding = response.apparent_encoding
#提前设置encoding，避免后续解析乱码问题
content = response.text
# 将获取的代码内容，也就是text属性直接给content
print('进入页面成功')
doc = pq(content)
# 将网页文字代码，也就是content赋值给doc，其类型为PyQuery
for item in doc('.gongkai_wenjian ul li').items():
# 定位要爬取题目的超链接
date = item('span').text()
# 获取发文日期
response_title = requests.get(item('a').attr('href'),headers=headers)
# 重新用requests库打开这个超链接并获取网页代码
response_title.encoding = response_title.apparent_encoding
content_title = response_title.text
doc_title = pq(content_title)
title = doc_title('h1').text().replace('\n','')
# 定位二级网站标题位置并返回给title
Policy = (
item('a').attr('href'),
title,
date
)
# 定义一个元组，包含链接、题目与日期
print(Policy)
write_to_file(Policy)
# 用write_to_file()函数将其存储起来，后面进行函数定义
except Exception as e:
print('Error', e.args)
- 定义write_to_file()函数，补上上一个函数的坑
def write_to_file(content):
with open(file_name, 'a', encoding='utf-8') as f:
f.write(content[0]+','+content[1]+','+content[2]+'\n')
# 存储为.cvs文件，之后再输出为excel
- 定义一个输出excel文件的函数：
def creat_excel(file_name):
df = pd.DataFrame(pd.read_csv(file_name, encoding='utf-8', names=['Url', 'Title','date']))
df.drop_duplicates(subset='Url', keep='last', inplace=True)
# 舍去重复的标题，保留最后一个
df.to_excel('Policy_qingdao.xlsx')
- 有了以上三个函数，就可以定义主函数了：
def main():
for i in range(1,680):
# 获取1到680页的内容。（如果网站有更新页码此项也要更新）
print('即将爬取第'+str(i)+'页')
url = url_base1 + str(i)
get_one_page(url)
time.sleep(0.1) # 爬取一页休眠0.1秒
creat_excel(file_name)
# 输出excel
- 定义了主函数，还需要执行：
if __name__ == '__main__':
main()
至此，程序代码已完整，直接运行，过10分钟左右就可以获取1万多条信息存在excel中。
下一篇文章将具体分析这一万多条大数据；在正式开始之前，读者可以阅读一些基础知识。数据分析环境搭设以及关于excel文件的读取与分析可以参考之前的一篇文章：Python 数据分析实例：
Pandas分析问卷选择率
