爬虫的5个步骤
1、需求分析(不需要写成程序,是人处理的)
2、寻找网址(不需要写成程序,是人处理的)
3、下载网站返回内容(通过程序实现,程序包requests)
4、通过返回的信息找到需要爬取的数据内容(通过程序实现,正则表达式re,xpath对应的程序包lxml)
5、存储找到的数据内容(通过程序实现程序包mysql)需要学习python连接mysql
SCRAPY
爬虫的5个步骤
1、需求分析(不需要写成程序,是人处理的)
2、寻找网址(不需要写成程序,是人处理的)
3、下载网站返回内容(通过程序实现,程序包requests)
4、通过返回的信息找到需要爬取的数据内容(通过程序实现,正则表达式re,xpath对应的程序包lxml)
5、存储找到的数据内容(通过程序实现程序包mysql)需要学习python连接mysql
SCRAPY