keywords：python scrapy crawl mysql git 建材 爬虫
之前爬取过指定建材网站的指定内容，调研分析采用scrapy框架来做:框架简单，功能强大。 scrapy中文官网 http://scrapy-chs.readthedocs.io/zh_CN/latest/
写的scrapy代码爬取大概1亿条数据，特别是对于淘宝或者大众点评这类的数据量很大，前前后后大概花了一个月的业余时间（羽毛球没敢丢下）。爬取建材网站代码github地址https://github.com/junfeng-feng/Spider.git
首先要分析需求，要那些数据，get/post分页分类获取，其次防止被ban，最后数据交付。
分析网站
分析网站，最常用的就是使用firefox或者chrome，F12查看网页源代码，然后F5刷新页面，查看有哪些网络(network)请求，请求的类型及内容。
最多使用的就是翻页数据的请求，一部分是通过get请求的url带上类似PageNo的参数，另外一个部分就是通过post json，json的数据含有PageNo类似的字段。
抓取网站
scrapy可深度优先，或者广度优先，且自带去重功能，自带过滤域名等等强大的功能。
由于我们想要抓取的数据都是指定的，比如http://ask.jia.com/装修问答网站中，问答的题目，问题描述，问题图片；回答的图片，最佳回答，回答的时间等等需求方指定的要素。所以我们爬取过程中，不能采用通用爬虫。
实际的爬取做法，简单粗暴：分析对应问答的页面，预估数据数量，指定所有的url。比如http://ask.jia.com/a-1006161.html其中，1006161是问答的id，我们的做法就是遍历所有的id，具体id范围1-200000000，来抓取问答详情页面。代码样例：
start_urls = [] #scrapy的起始url
for id in xrange(1, 2000000):#todo
start_urls.append("http://ask.jia.com/a-%s.html" % id)
分析具体的页面
以http://ask.jia.com/a-1006161.html为例，获取问题的标题。
使用item["question_title"]="".join(select.css(".timu_text").xpath(".//h1/text()").extract()).strip()，其中item是scrapy中简单的容器，定义pipeline中的数据项。解析html使用Selector，解析html有很多种比如lxml或者BeautifulSoap等，但是scrapy使用自己的一条机制Selector简单高效。详细的语法可以参考scrapy文档。
最方便的工具是scrapy shell，可以在终端打开scrapy shell，然后在命令行，一个个字段来调试分析。不用每次都启动scrapy crawl来跑完程序验证抓取的字段是否正确。在shell中一个个调试select.css去的是否正确。(分析具体页面需要注意：1.页面可能存在特殊性，所以需要找多个页面先对比 2.需要处理没有字段的异常情况，对于空字段置为空即可)
多级请求
抓取网站具体内容，会遇到一个问题：一条完整的数据，需要多个网络请求get/post按照顺序一个个来收集。
这时scrapy中的request=Request(brandUrl,callback=self.brandJsonCallBack,priority=1234567)再yieldrequest，在callback中收集数据持久化数据，是再合适不过。样例请参考github中的tmall代码。
存储图片
scrapy存储图片比较简单，在setting.py配置 pipeline添加'scrapy.pipelines.images.ImagesPipeline': 1，同时配置IMAGES_STORE=r'./img'存储图片位置,然后在spider解析页面拿到要下载图片的url添加到item["image_urls"]，scrapy就下载图片，同时保存图片的id在item中，其它请参考scapy文档。
持久化数据
使用twisted和MysqlDb，在pipeline.py中将item插入数据库。其中数据库链接相关信息配置在settings.py
防止被ban
最有效的方式是设置下载延迟DOWNLOAD_DELAY=0.1，同时禁用cookie。
其它比如设置user-agent，比如使用TOR，或者使用IP池，都不怎么好使。想要防止被禁的其它方法请自行google。
数据清洗
抓取到数据后需要做一些处理，因为我们抓取的都是特定的内容，基本没有特别的处理。
Python基础安装使用
推荐使用Python 27，不推荐Python3
python 非root安装：./configure [--prefix=newpath](自己指定安装路径) && make && make install
setuptools 安装
pip install：pip是Python安装第三方包最方便的工具，会自动下载依赖
pip 国内镜像：pip install -ihttps://pypi.douban.com/simple/
pip 使用代理: pip --proxy=http://127.0.0.1:2048
pip 安装包到指定目录: pip install --install-option="--prefix=$PREFIX_PATH" package_name
python 字符编码处理 print file file.write请参考//www.greatytc.com/p/53bb448fe85b
