Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。
安装
使用python的包管理器pip进行安装
pip install scrapy
创建项目
这里以爬取打开shell，进入需要创建项目的路径，执行命令：
scrapy startproject myproject
myproject为项目名称，执行完生成一个完整的爬虫项目，目录结构如下图。
spiders包中的wechat_spider.py是自己新建的，主要写爬取逻辑；middlewares.py为中间件，里面可以定义下载器中间件、spider中间件等等；item为一组数据，经过数据流在pipline中进行处理，或存储在文本，或存储在数据库中；settings是整个scrapy项目的配置
注：项目中的main.py文件是我添加的方便在pycharm中调试，使用cmdline来执行shell命令，内容如下：
from scrapy import cmdline
cmdline.execute("scrapy crawl wechat".split())
编写spider
import scrapy
from ..items import WechatItem
class WechatSpider(scrapy.Spider):
name = "wechat"
allowed_domains = ["weixin.sogou.com"]
start_urls = [
"http://weixin.sogou.com"
]
def parse(self,response):
item = WechatItem()
#item['user'] = response.xpath('//p[@title]/text()').extract()
item['content'] = response.xpath('//p[@class="txt-info"]/text()').extract()
item['text'] = response.xpath('//h3/a/text()').extract()
item['title'] = response.xpath('//div[@class="fieed-box"]/a/text()').extract()
return item
allowed_domains是请求的域，允许请求的范围，start_urls是请求地址，parse函数是对返回的结果进行处理，定义一个item用来接收解析的数据，使用xpath来解析返回的html页面，最后将item返回给pipline
编写pipline
以下pipeline将所有(从所有spider中)爬取到的item，存储到一个独立地 wechat.json 文件，每行包含一个序列化为JSON格式的item:
import json
class WechatPipeline(object):
def __init__(self):
self.file = open('wechat.json','wb',encoding='utf-8')
def process_item(self, item, spider):
line = json.dumps(dict(item)) + '\n'
self.file.write(line.decode("unicode_escape"))
return item
Scrapy shell
Scrapy shell是一个交互式的终端，在还没有启动scrapy项目的情况下尝试爬取及调试你的代码，在爬虫开发中很方便，绝对是利器。例如测试豆瓣图书的api能否返回图书信息
scrapy shell https://api.douban.com/v2/book
执行后将通过scrapy的下载器返回整个response，输入response.status，查看请求的状态，状态码为200说明请求成功，数据体随响应返回给客户端，输入response.text查看返回的内容，也可以使用xpath选择器对返回的页面进行信息筛选。
Scrapy shell 也可以添加请求头,例如添加header中的User-Agent
scrapy shell -s USER_AGENT="Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, likeGecko) Chrome/59.0.3071.86 Safari/537.36" url #url指你所需要爬的网址
框架概览
scrapy官方文档
