http://mp.weixin.qq.com/s/eaRxLBFvQZKWBdKBbq1QyA
第一课 静态网页爬虫：爬虫的基础技术
HTML
CSS 选择器
JavaScript 介绍
lxml 及 XPath
Python 里的网络请求
第一个爬虫：蚂蜂窝的游记
第二课 登录及动态网页的抓取
表单
网站登录及Cookie
Headless 的浏览器：PhantomJS
浏览器的驱动：Selenium
动态网页数据获取
第三课 微博的抓取
微博网站分布及结构分析
通过动态页面来抓取
微博网络接口的逆向分析
利用API来抓取微博
第四课 微信公众号抓取
AnyProxy 抓包工具
微信公众号接口分析
利用 NodeJS 重定向接口
后台数据获取及保存
利用接口直接获取所有历史消息
应对微信公众号反爬虫的架构设计
第五课 验证码的处理，京东、淘宝的数据抓取及存储案例
基于距离的图片比对
基于 TesseractOcr 的数字识别
其它验证码识别方案
京东数据抓取
淘宝数据抓取
第六课 多线程与多进程的爬虫
线程与进程
Python 的多线程约束
多个线程同时抓取
多个进程同时抓取
日志系统设计
第七课 微博数据的存储：分布式数据库及应用
SQL 与 NoSQL
Hadoop 架构
HDFS
HBase
MongoDB
Redis
基于分布式数据库的分布式爬虫
第八课 多机并行的微博抓取：分布式系统设计
守护进程
Socket 编程
Master 设计
Slave 设计
任务调度及通信协议
分布式集群部署的爬虫
第九课 PageRank、网页动态重拍及应对反爬虫技术的手段
PageRank 计算模型及推导
网页抓取顺序重排
网站服务架构
寻找与利用分布式服务器
多IP技术与路由控制
几乎可以应对所有反爬规则的爬虫系统架构
第十课 Scrapy 爬虫框架介绍
Sample
框架分析
自动生成爬虫
控制台
流水线
中间件
第十一课 文本自动抽取、网页分类与针对文本的机器学习应用
文本的自动化抽取
文本分类
网页分类基础
分词与特征抽取
线性回归
SVM
Logistic Regession
网页分类
多分类器
第十二课 信息检索、搜索引擎原理及应用
搜索引擎架构介绍
正排表与倒排表
Bool 模型
Vector 模型
概率模型
TF/IDF
Elastic Search
