scrapy安装使用

1、 安装

pip install scrapy
其中安装twisted遇到问题，自行下载安装：下载地址
再运行命令：pip install 安装路径

2、 创建爬虫项目

scrapy startproject 项目名称

3、 项目目录结构
目录结构
  • scrapy.cfg：项目的总配置文件
  • items.py：项目中的item文件，定义了我们爬取的字段以及对各字段的处理，可以简单地类似理解为这是一个 Excel 的模板，我们定义了模块的表头字段及字段的属性等等，然后我们按照这个模块往表格里填数
  • pipelines.py：项目中的pipelines文件，将抓取到的数据存入到数据库中
  • settings：项目中的设置文件
  • spiders：用来存放爬虫文件
  • middlewares.py：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容