安装环境可能遇到的问题
1.新版本Mac系统可能因为SIP，需要在命令行后增加--user参数
2.可以使用国内源提高下载效率（推荐豆瓣或者其他镜像），命令行为pip install package -i --trusted-host http://pypi.douban.com/simple/
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple/
HTTP请求的类型
OPTIONS: 返回服务器针对特定资源所支持的http请求方法。
HEAD: 向服务器索要与get请求相一致的响应，只不过响应体将不会被返回。（可以用来查询文件是否存在）
GET: 向特定资源发出请求 。
PUT: 向指定资源位置上传其最新内容。
POST: 向指定资源提交数据进行处理请求。
DELETE: 请求服务器删除指定URI所标识的资源。
PATCH: 用来将局部修改应用于某一资源。
HTTP常见状态码
200/OK： 请求成功
201/Created: 请求已被实现，且一个新资源已根据请求被建立，URI跟随Location头信息返回。
202/Accepted: 服务器已接受请求，但尚未处理。
400/Bad Request: 请求无法被服务器理解（数据格式不准确）
401/Unauthorized: 当前请求需要用户验证。
403/Forbidden: 服务器已理解请求，但拒绝执行。
404/Not Found。
MySQL安装配置
Windows:
下载免费社区版mysql server。
客户端操作可以使用MySQLWorkbench。
Linux（以debian为例）:
apt-get install mysql-server mysql-client
登陆mysql: mysql -p hostname -u username -p，然后使用use dbname指定需要操作的数据库
安装phpmyadmin方便在浏览器操作数据库
(postgrepsql)
MySQL常用命令
show databases: 显示当前服务器上的数据库
create database dbname: 创建一个新数据库
use dbname: 使用指定的数据库
show tables: 显示当前数据库的所有表
desc tbname: 显示表结构
爬虫工作流程
1.将种子URL(root url)放入队列
2.从队列中获取URL(new url)，抓取内容。
3.解析抓取内容，将需要进一步抓取的URL放入工作队列，存储解析后的内容。
抓取策略
深度优先
广度优先
PageRank
大站优先策略
爬虫质量标准
分布式
可伸缩性
性能和有效性
质量
新鲜性
更新
可扩展性
request.get(url).content.decode('gb2312')
https://www.safaribooksonline.com/library/view/python-cookbook/0596001673/ch12s07.html
第一个代码
import xml.etree.ElementTree as ET
from xml.parsers.expat import ParserCreate
import requests
class DefaultSaxParser(object):
def __init__(self, provinces):
self.provinces = provinces
def start_element(self, name, attrs):
#当标签名称不为map时，将值添加到成员变量provinces
if name != 'map':
title = attrs['title']
number = attrs['href']
self.provinces.append((title, number))
def end_element(self, name):
pass
def char_data(self, data):
pass
content = requests.get(r'http://ip138.com/post').content.decode('gb2312')
data_start = content.find(r'<map name="map_86" id="map_86">')
data_end = content.find(r'</map>')
content = content[data_start: data_end + len(r'</map>')].strip()
provinces = []
handler = DefaultSaxParser(provinces)
parser = ParserCreate()
parser.StartElementHandler = handler.start_element
parser.EndElementHandler = handler.end_element
parser.CharacterDataHandler = handler.char_data
parser.Parse(content) #这里会报错，但是暂时还没有解决
print provinces
import threading
import requests
def display_info(code):
url = 'http://hq.sinajs.cn/list=' + code
text = requests.get(url).text
print text
def single_thread(codes):
for code in codes:
display_info(code)
def multi_thread(tasks):
threads = [threading.Thread(target = single_thread, args = (codes, )) for codes in tasks]
for single in threads:
single.start()
for single in threads:
single.join()
if __name__ == '__main__':
codes = ['sh600001', 'sh600002', 'sh600003', 'sh600004', 'sh600005', 'sh600006']
thread_len = (int)(len(codes)) / 4
t1 = codes[0 * thread_len: 1 * thread_len]
t2 = codes[1 * thread_len: 2 * thread_len]
t3 = codes[2 * thread_len: 3 * thread_len]
t4 = codes[3 * thread_len: ]
multi_thread([t1, t2, t3, t4])
