爬虫流程.png
获取网页信息
import urllib.request
url = 'https://www.douban.com'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36 '
} ###模拟游览器headers请求信息，可放入更多信息，逼真模拟，以字典键值对加入
req = urlliba.request.Request(url = url,headers = headers ) ##将请求信息进行封装
response = urllib.request.urlopen(req) ###打开获取网页信息print(response.read().decode('utf-8')) ###打印信息，utf-8解码，可以将中文正常显示
解析网页信息
BeautifulSoup 将复杂的HTML文档转换成一个复杂的树形结构。
四种对象：
tag ###标签
NavigableString ###标签里的内容
BeautifulSoup ###表示整个文档
comment ###特殊的NavigableString，输出不带注释
from bs4 import BeautifulSoup
file = open('./baidu,html','rb') ##二进制打开已获取的网页html文件
html = file.read() #读取
bs = BeautifulSoup(html,'html.parser') ###解析html对象，以'html.parser'方式，可选择多种方式
print(bs.a) ###打印标签和内容，只打印第一个（tag）
print(bs.a.string) ###只打印内容 （NavigableString）
print(bs.a.attrs) ###获取标签的所有属性，返回字典
print(bs) #####（BeautifulSoup对象）
#####文档的遍历
print(bs.head.contents) ###contents 获取tag的所有子节点返回一个列表，获取子节点还有很多方法，搜索文档
####文档的查询
t_list = bs.find_all('a')##find_all() 查找所有与字符串完全匹配的内容，返回list
t_list = bs.find_all(re.complile('a')) ##包含a的内容
t.list = bs.find_all('a',limit = 3) ###限制3个
###css选择器
print（bs.select('title')） ##查找标签
t_list = bs.select('.mnav') ##通过类名查找
t_list = bs.select('#u1') ##通过id查找
t_list = bs.select('head > title') ##通过子标签查找
保存数据
import xlwt #进行excel操作
workbook = xlwt.Workbook(encoding='utf-8') ###创建workbook对象
worksheet = workbook.add_sheet('sheet1') ###创建工作表
for i in range(0,9):
for j in range(0,i+1):
worksheet.write(i,j,'%d * %d = %d'%(i+1,j+1,(i+1)*(j+1)))
workbook.save('test.xls') ###保存excel表
