scrapy普通和通用爬虫的创建以及说明

Windows 安装方式
Python 3
升级pip版本:
pip3 install --upgrade pip
通过pip 安装 Scrapy 框架
pip3 install Scrapy
Ubuntu 安装方式
通过pip3 安装 Scrapy 框架
sudo pip3 install scrapy
如果安装不成功再试着添加这些依赖库:
安装非Python的依赖
sudo apt-get install python3-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev

创建普通框架:
新建爬虫项目:
scrapy startproject +名字
新建爬虫文件
scrapy genspider +名字 +域(如:xxx.com)

创建通用爬虫:
新建爬虫项目:
scrapy startproject +名字
新建爬虫文件:
scrapy genspider -t crawl +名字 +域(如:xxx.com)

运行命令:scrapy crawl xxx -

image

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 前言 我这两天想复习一下Scrapy框架,然后看了看自己之前的笔记,发现总结的有点乱,本来心思在网上找找资料,然后...
    Wangthirteen阅读 136,392评论 2 71
  • 《 利用 Python36,基于 Scrapy 框架的爬虫思路 》 (一)引言利用爬虫抓取网页数据已经是常见技能,...
    yannis_lau阅读 1,551评论 0 3
  • Scrapy的安装介绍 Scrapy框架官方网址:http://doc.scrapy.org/en/latest ...
    初见_ac87阅读 513评论 2 2
  • 作为一名销售,我好像还不合格。作为一名员工,我还是不合格,我没有太大的进取心,我总是三心二意,总想规避困难,总想着...
    深水里的星星阅读 284评论 1 1
  • 说到“毅力”通常我们会想到一大堆的正能量词汇,可是我要聊聊它的负能量 在晚间刷牙的时间,我突然回想到关于自己的事,...
    WOUF阅读 358评论 0 0