目标：爬取虎嗅网24小时新闻，存入数据库。分析热词
方案：爬虫有多种方案，我们采取requests + lxml/xpath的方案。
1. 使用到的工具
requests
一个简单好用的网络请求库
lxml/xpath
lxml是python的一个解析库，支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高
XPath，全称XML Path Language，即XML路径语言，它是一门在XML文档中查找信息的语言，它最初是用来搜寻XML文档的，但是它同样适用于HTML文档的搜索
XPath的选择功能十分强大，它提供了非常简明的路径选择表达式，另外，它还提供了超过100个内建函数，用于字符串、数值、时间的匹配以及节点、序列的处理等，几乎所有我们想要定位的节点，都可以用XPath来选择
django
一个web框架，此处用来操作数据库。
2. 大致步骤
- 分析目标网页，制定爬取策略。
- 写代码爬取数据。
- 保存数据。
1. 分析目标网页，制定爬取策略。
分析网页源码，使用浏览器、charles等分析接口请求。一般大量列表的网页的分页大致有两种：
- 网址分页，即网址中传page来请求，一页一个链接。https://www.kuaidaili.com
- 使用ajax一个界面实现分页。https://www.huxiu.com/moment
虎嗅的24小时列表采用的是ajax加载的。
#接口：
https://www.huxiu.com/moment/ajaxGetList
#参数：
last_dateline
#返回数据
{
"success": true,
"data": {
"msg": "获取成功",
"pagesize": 20,
"total_page": 149,
"last_dateline": "1558238914",
"data": " html内容 "
}
}
他们是以时间来分页的，返回结果包含下次的请请求时间，可以以此来循环请求获取数据。
返回的数据是一个<li>新闻列表，我们只需要遍历每个li，从中取到数据即可。
2. 写代码爬取数据
-
获取源码：
res = requests.post(url, headers=headers, data=data)
res.encoding = 'utf-8'
return res.text
- Xpath 重要: 要熟悉Xpath的使用，http://www.w3school.com.cn/xpath/index.asp
路径表达式
nodename选取此节点的所有直子节点，相当于./
/ 选取子节点
// 选取子孙节点
. 从当前节点
.. 从当前节点的父节点
@选取属性
-
创建数据库：
使用Django框架操作数据库，步骤：
1，创建好model。
2，执行创建命令。
python manage.py makemigrations
python manage.py migrate
3. 爬取注意
有道德，注意爬取速度
应对反爬虫：
代理分类
判断是否使用成功：http://httpbin.org/get
4. 生成词云图，分析热点
1, 数据库读取数据；
2，wordcloud分析；
image
