本次安装
时间：20190201
版本：python 3.7.2
python本体安装
官网https://www.python.org/downloads/下载安装包
点击安装，本人勾选了注入环境变量。
安装完毕后重启了电脑，其实注销再登录应该也可以。
scrapy框架安装
打开Windows PowerShell(管理员)
PS C:\windows\system32> pip install --upgrade pip //升级pip到最新
PS C:\windows\system32> pip install Scrapy //安装scrapy
报错：
error: Microsoft Visual C++ 14.0 is required.
百度并仔细观察，发现是由于building 'twisted.test.raiser' extension导致出现error
故决定手动安装twisted的离线包
在https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted找到对应的版本，本次需要的对应版本是 twain‑1.0.4‑cp37‑cp37m‑win32.whl ，即python3.7.X的32位对应版本。
下载到本地。
在twain‑1.0.4‑cp37‑cp37m‑win32.whl 文件夹打开 Windows PowerShell
PS C:\windows\system32> pip install twain‑1.0.4‑cp37‑cp37m‑win32.whl //安装本地包
安装完毕后再运行
PS C:\windows\system32> pip install Scrapy //安装scrapy
至此，安装完毕，输入scrapy应有如下输出。
PS C:\windows\system32> scrapy
Scrapy 1.6.0 - no active project
Usage:
scrapy <command> [options] [args]
Available commands:
bench Run quick benchmark test
fetch Fetch a URL using the Scrapy downloader
genspider Generate new spider using pre-defined templates
runspider Run a self-contained spider (without creating a project)
settings Get settings values
shell Interactive scraping console
startproject Create new project
version Print Scrapy version
view Open URL in browser, as seen by Scrapy
[ more ] More commands available when run from project directory
Use "scrapy <command> -h" to see more info about a command
运行中文页http://www.scrapyd.cn/doc/179.html例子爬取测试站http://lab.scrapyd.cn/时，报错
ModuleNotFoundError: No module named 'win32api'
解决方法，安装缺失部分
PS C:\windows\system32> pip install pypiwin32 //安装win32api
scrapy框架简单使用
PS C:\windows\system32> scrapy version //查看scrapy 版本
PS C:\windows\system32> scrapy settings --get BOT_NAME //查看蜘蛛的名字
PS C:\windows\system32> scrapy startproject XX //在当前目录创建项目XX
PS C:\windows\system32> scrapy genspider XX XX.com //在当前目录依据模板创建一只蜘蛛test，目标站点为XX.com
PS C:\windows\system32> scrapy crawl XX //运行XX蜘蛛，需要先进入项目正在目录
PS C:\windows\system32> scrapy runspider XX.py //运行XX蜘蛛，只需 XX.py文件不必要项目
PS C:\windows\system32> scrapy shell http://www.XX.com //调试网址为http://www.XX.cn的网站
PS C:\windows\system32> scrapy fetch http://www.XX.com >d:/XX.html //下载http://www.XX.com的页面并保存到一个XX.html文件
PS C:\windows\system32> scrapy view http://www.XX.com //下载http://www.XX.com的页面并在本地打开
PS C:\windows\system32> scrapy check XX //检查XX蜘蛛的代码是否有错误
PS C:\windows\system32> scrapy list //当前项目下的蜘蛛列举
Docker安装
关于Docker：https://yeasy.gitbooks.io/docker_practice/content/
Docker 官网下载支持win10版本的Docker Desktop (Windows)
默认安装，中间注销一次生效路径，重启一次开启虚拟化
安装完毕后（默认开机启动），登录Docker 账号。
验证是否安装成功方法：打开Windows PowerShell(管理员)
PS C:\windows\system32> docker -v
Docker version 18.09.1, build 4c52b90
输入版本号则安装成功。
因为国外的源下载东西实在太慢，故最好配置下国内镜像源。
右键点击任务栏Docker 图标，再点击Settings，弹出配置窗口。
配置窗口中点击左侧选项中的Daemon，在Registry mirrors中填入加速镜像包地址，本人采用了阿里云的，保存后自动重启Docker
Scrapy-Splash安装
安装这个是为了解决部分网页异步加载的问题
1. server安装
拉取镜像
PS C:\windows\system32> docker pull scrapinghub/splash
拉完镜像后开启服务
PS C:\windows\system32> docker run -p 8050:8050 scrapinghub/splash
打开http://localhost:8050 会出现标题为 Splash v3.2 的页面
2. client安装
PS C:\windows\system32> pip install scrapy-splash
