前节介绍了什么网络爬虫，什么是Scrapy框架并如何安装
本节介绍基于Scrapy框架的网络爬虫开发流程
1. 新建Scrapy爬虫项目
安装好Scrapy框架后，就可以基于Scrapy框架开发爬虫项目了。基于框架开发项目，不需要从零开始编写代码，只需要掌握如何使用框架，如何添加与自己应用相关的代码即可。
进入打算新建爬虫项目的路径中，使用命令：
scrapy startproject project_name
请用爬虫项目名称替换命令中的project_name，例如，本文打算创建一个爬取新浪网的爬虫，取名为sina_spider，则新建爬虫项目的命令为：
scrapy startproject sina_spider
命令运行结果，如下图所示。
“scrapy startproject sina_spider”命令会创建包含下列内容的sina_spider目录，如图13-5所示。
2. 创建爬虫文件
新建好Scrapy爬虫项目后，接下来就是创建爬虫文件。请先进入sina_spider项目路径，用命令：
scrapy genspider spider_filename(爬虫文件名) www.xxx.com (待爬取的网站域名)
创建爬虫文件。例如，本文的爬虫文件名为：sinaSpider，待爬取的网站域名：www.sina.com.cn，则创建爬虫文件sinaSpider的命令为：
scrapy genspider sinaSpider www.sina.com.cn
3. 修改settings.py文件
现在很多网站都有防爬虫措施，为了反网站的防爬虫措施，需要添加user agent信息。请settings.py文件的第19行修改如下所示：
18. # Crawl responsibly by identifying yourself (and your website) on the user-agent
19. import random
20. # user agent 列表
21. USER_AGENT_LIST = [
22. "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
23. "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
24. "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
25. "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
26. "Mozilla/4.76 [en_jp] (X11; U; SunOS 5.8 sun4u)",
27. "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
28. "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:5.0) Gecko/20100101 Firefox/5.0",
29. "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:9.0) Gecko/20100101 Firefox/9.0",
30. "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.8; rv:16.0) Gecko/20120813 Firefox/16.0",
31. "Mozilla/4.77 [en] (X11; I; IRIX;64 6.5 IP30)",
32. "Mozilla/4.8 [en] (X11; U; SunOS; 5.7 sun4u)" ]
33. USER_AGENT = random.choice(USER_AGENT_LIST) # 随机生成user agent
网站的服务器中保存一个robots.txt 文件，其作用是，告诉搜索引擎爬虫，本网站哪些目录下的网页不希望被爬取收录。Scrapy启动后，会在第一时间访问网站的 robots.txt 文件，然后决定该网站的爬取范围。
由于本文的项目并非搜索引擎爬虫，而且很有可能我们想要获取的内容恰恰是被 robots.txt所禁止访问的，所以请把settings.py文件的ROBOTSTXT_OBEY值设置为False，表示拒绝遵守Robot协议，如下所示
1. # Obey robots.txt rules
2. ROBOTSTXT_OBEY = False # False表示拒绝遵守Robot协议
4. 编写parse()方法
查看由Scrapy生成的sinaSpider.py文件，在SinaspiderSpider类中，有一个parse()方法需要用户编写，如下图所示
Scrapy框架把爬取下来的网页源代码存放在response对象中，我们只需要对response对象中的网页源代码做解析，提取想要的数据即可。本范例目标是抓取新浪网页的新闻的标题和对应的链接，如下图所示。
parse()方法的实现代码，如下所示
1. # -*- coding: utf-8 -*-
2. import scrapy
3.
4. class SinaspiderSpider(scrapy.Spider):
5. name = 'sinaSpider'
6. allowed_domains = ['www.sina.com.cn']
7. start_urls = ['http://www.sina.com.cn/']
8.
9. def parse(self, response):
10. data_list = [] #用于存储解析到的数据
11. #解析HTML源代码，定位新闻内容
12. lis = response.xpath("//div[@class='top_newslist']/ul[@class='list-a news_top']//li")
13. #将新闻主题和超链接解析出来并整理到列表中
14. for li in lis:
15. titles = li.xpath(".//a/text()")
16. linkes = li.xpath(".//a/@href")
17. for title, link in zip(titles, linkes):
18. #将新闻主题和对应的超链接组合成字典
19. data_dict = {'标题': title.extract(), '链接': link.extract()}
20. #将字典数据存储到data_list这个列表中
21. data_list.append(data_dict)
22. return data_list
parse()方法在解析HTML源代码时，使用了XPath路径表达式。XPath是一门在HTML/XML文档中查找信息的语言，常用于在网页HTML源代码中，查找特定标签里的数据。在网络爬虫中使用XPath，只需要掌握 XPath路径表达式即可。XPath 使用路径表达式来选取 HTML/XML文档中的节点或者节点集。
5. 运行爬虫程序并保存抓取数据
parse()方法编写好后，就可以运行爬虫程序并保存抓取数据了。用命令：
scrapy crawl 爬虫文件名 –o 保存数据文件名.[csv|json|xml]
保存数据的文件格式可以是csv 或 json 或 xml，本例的爬虫文件名为:sinaSpider.py，数据存储选择csv格式，命令为：
scrapy crawl sinaSpider -o sinaNews.csv
运行效果，如下图所示
到此，本例基于Scrapy框架从零开始实现了一个网络爬虫程序，爬取了新浪网页并从中解析出新闻的标题和对应的超链接，最后把解析出的数据保存为csv文件供后续使用。
