一、创建工程步骤
1.通过scrapy startproject 项目名
创建一个项目,如下图所示:
items.py:用来创建整个项目的目标文件
pipelines.py:管道文件,用来处理数据的存储
settings.py:设置文件
2.进入spider目录,通过scrapy genspider 爬虫名 "域名"
创建爬虫程序
spider_name.py:爬虫主程序,负责链接处理和内容的处理,项目核心
二、实现思路
在第六步时,我们也可以从网页上提取新的链接进行下一次的请求