Scrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。在安装Scrapy模块时,pip install Scrapy出现了以下报错:error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools。这是由于Scrapy有很多个依赖,所以在安装Scrapy之前你就要先安装其他的依赖,其中一个就是Twisted模块。但是在pip install Twisted的时候,还是出现上述报错。
- 安装Twisted模块
要安装Twisted模块,首先要先安装wheel模块。
1.确认python的版本。打开命令行工具输入python命令,输出如下图。 - Anaconda安装
除了上述方式安装scrapy模块之外,还可以通过Anaconda直接安装scrapy模块。
1.先下载安装Anaconda客户端。
2.安装scrapy模块。
(Anaconda的下载安装有很多教程,就不赘述了,这里只提供一种思路)