scrapy框架学习、快速抓取数据

最近小小的学习了一下scrapy来抓取数据,在这里进行一个简单的总结。

一、scrapy介绍和原理

1.1、什么是scrapy框架?

scrapy就是一个为了爬取网站数据,提取结构性数据而编写的应用框架。它采用到了Twisted异步网络网络框架,能够加速下载的速度。我们使用少量的代码就能进行快的数据抓取了。说道这里,可以去回顾一下异步、同步、阻塞、非阻塞的区别。

1.2、scrapy的原理
Scrapy框架

在scrapy框架图汇中,主要是由4个部分组成:Scheduler、Downloader、Spiders和ItemPipeline构成。其中Scrapy Engine就是一个核心的作用。我们分别看看每个部分的作用是什么?

  • Scheduler:它就是一个队列,里面存放的就是requests对象。requests对象从Scheduler出来之后,会经过Scrapy Engine传到下载中间件,然后下载中间件会传递给Downloader。
  • Downloader:接收到了requests对象的下载器会去发送请求,获取相应response,然后将这个response经过Scrapy Engine、下载中间件、Scrapy Engine和Spider中间件传到Spiders处。
  • Spiders:主要的作用就是提取url和数据。Spiders提取到的url会处理成requests,经过爬虫中间件和Engine传递给Scheduler。Spiders提取的数据就交给了Item Pipeline,
  • Item Pipeline:它负责处理Spider中获取到的Item,并进行进行后期处理(详细分析、过滤、存储等)的地方。

这里的Scrapy Engine的核心起到了一个解耦的作用。
下面我们看看,那些模块需要我们去实现:

item 作用 实现与否
Scrapy Engine 负责数据和信号在不同模块间的传递 scrapy已经实现
Scheduler 本质是一个队列,存放requests对象 scrapy已经实现
Downloader 接收Engine发过来的requests,并返回响应给Engine scrapy已经实现
Spider 处理Engine发过来的response,进行url和数据的提取 需要自己实现
Item Pipeline 处理Engine传过来的数据 需要自己实现
下载中间件 可以自定义的下载扩展,比如设置代理 一般不用自己写
爬虫中间件 可以自定义requests请求和进行response过滤 一般不用自己写

到这里我们就知道了,一般需要我们手写就是Spider和Item Pipeline了。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 本主题主要是scrapy入门,包含内容如下:  1. Scrapy框架环境搭建;  2. 理解scrapy框架结...
    杨强AT南京阅读 1,391评论 0 10
  • 对于规模小、爬取数据量小、对爬取速度不敏感的爬虫程序, 使用 Requests 能轻松搞定。这些爬虫程序主要功能是...
    猴哥爱读书阅读 3,038评论 0 31
  • 新昌大佛寺,是我这个夏天高热之下两天紧张旅游中的一个小小的景点。之前,我去了四明山革命根据地,缅怀革命先烈的丰功伟...
    徽山人阅读 629评论 1 1
  • 2018年8月19日 星期天 天气:晴 榜样的力量是无穷的,每个孩子的生活环境,都是爸爸妈妈...
    金鱼茵茵阅读 462评论 0 2
  • 陈列馆(十五)落红满径处 站在墓园的女人背影仍是绰约,腰身曼妙,实在看不出已是六十好几了。绾好的发髻低垂,几乎看不...
    读书少女金阅读 231评论 6 0