BeautifulSoup 解析库
BeautifulSoup 解析库根据HTML和XML语法建立解析树，进而高效解析其中的内容。
- 注：这里所说的BeautifulSoup解析库特指beautifulsoup4库而不是beautifulsoup库）。
:\>pip install beaytifulsoup4
解析器
- BeautifulSoup在解析时实际依赖解析器，除了支持Python标准库中的HTML解析器外还支持一些第三方解析器
BeautifulSoup支持的解析器
| 解析器 | 使用方法 | 优势 | 劣势 |
|---|---|---|---|
| Python标准库 | BeautifulSoup(markup,'html.parser') | Python内置标准库，执行速度适中、文档容错能力强 | Python2.7.3及3.2.2之前的版本文档容错能力差 |
| lxml HTML 解析器 | BeautifulSoup(markup,'lxml') | 速度快、文档容错能力强 | 需要安装C语言库 |
| lxml XML 解析器 | BeautifulSoup(markup,'xml') | 速度快、唯一支持XML的解析器 | 需要安装C语言库 |
| html5lib | BeautifulSoup(markup,'html5lib') | 最后的容错性、以浏览器的方式解析文档、生成HTML5格式的文档 | 速度慢、不依赖外部扩展 |
基本用法
实例文档
<html>
<head>
<title>The Dormouse's story</title>
</head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a> and
<a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
- BeautifulSoup解析库采用面向对象的方式实现，把页面当作对象，通过<a>.<b>方式调用对象属性；通过<a>.<b>()方式调用方法
- BeautifulSoup(markup[,parser]) 方法可对BeautifulSoup对象进行初始化，该方法会自动更正HTML文档格式（补齐标签）
- prettify()方法可将解析字符串以标准的缩进格式输出
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml') # BeautifulSoup对象初始化
print(soup.prettify) # 标准的缩进格式输出待解析字符串
- BeautifulSoup对象对象属性与HTML节点（标签）名称相同
BeautifulSoup对象的常用属性
| 属性 | 描述 |
|---|---|
| head | HTML页面的<head>内容 |
| title | HTML页面的标题，在<head>中，由<title>标记 |
| body | HTML页面<body>内容 |
| p | HTML页面中第一个<p>中的内容 |
| strings | HTML页面所有呈现在Web上的字符串，即标签的内容 |
| stripped_strings | HTML页面所有呈现在Web上的非空格字符串 |
节点选择器
- 节点选择筛选功能弱但速度快
选择元素
- 直接调用节点的名称即可选择节点元素
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(type(soup.title)) # <class 'bs4.element.Tag'>
print(soup.title) # 返回节点加其内部的所有内容
print(soup.p) # 有多个节点时，只选择匹配到的第一个节点
提取信息
- 调用节点对象的属性获得相应内容
节点对象的属性
| 属性 | 描述 |
|---|---|
| name | 节点的名字，字符串类型 |
| attrs | 节点的属性，字典类型 |
| string | 节点的内容，字符串类型 |
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.title.name) # 调用name属性获取节点的名称
print(soup.p.attrs) # 调用attrs属性获取节点所有属性,返回字典类型
print(soup.p.attrs['name']) # 中括号加属性名获取某个属性
print(soup.p['name']) # 获取某个属性的简写方法
print(soup.title.string) # 调用string属性获取节点元素包含的文本内容
嵌套选择
- 在Tag类型的基础上在此选择仍然得到Tag类型,所以可以做嵌套选择
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(type(soup.head)) # <class 'bs4.element.Tag'>
print(type(soup.head.title)) # <class 'bs4.element.Tag'>
关联选择
- 如果不能一次性定位到目标节点元素，可先选择某一节点元素，再以此为基准选择其字节点、父节点、兄弟节点等
子节点和子孙节点
- 调用contents属性获取节点的直接子节点，返回'list'类型
- 调用children属性获取节点的直接子节点，返回'list_iterator'类型
- 调用descendants属性获取节点的所有子孙节点，返回'generator'类型
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(type(soup.p.contents)) # <class 'list'>
print(type(soup.p.children)) # <class 'list_iterator'>
print(type(soup.p.descendants)) # <class 'generator'>
for i,child in enumerate(soup.p.descendants): # 遍历输出
print(i,child)
父节点和祖先节点
- 调用parent属性获取节点的直接父节点,得到Tag类型
- 调用parents属性获取节点的所有祖先节点，返回'generator'类型
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(type(soup.a.parent)) # <class 'list_iterator'>
print(type(soup.a.parents)) # <class 'generator'>
print(list(enumerata(soup.a.parents))) # 列表输出索引和内容
兄弟节点
- 调用next_sibling属性获取节点的下一个兄弟元素
- 调用previous_sibling属性获取节点的上一个兄弟元素
- 调用next_siblings属性获取节点后面所有的兄弟元素
- 调用previous_siblings属性获取节点前面所有的兄弟元素
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.a.next_sibling)
print(soup.a.previous_siblings)
提取信息
- 如果返回结果是单个节点，可直接调用string等属性获取信息
- 如果返回结果是多个节点的生成器，则可转为列表后取出某个元素后调用属性获取其对应节点的信息
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.a.next_sibling。string)
print(list(soup.a.parent)[0].string)
print(list(soup.a.parents)[0].attrs['class'])
方法选择器
- 节点选择通过属性筛选，速度快但相对烦琐，方法选择器提供更灵活的查询方式
find_all()
find_all()方法用于查询所有符合条件的元素
find_all(name,attrs,recursive,text,**kwargs)
name
- 根据节点名查询元素
- 传入字符串，返回列表
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.find_all(name='a'))
attrs
- 根据节点属性查询元素
- 以字典的形式传入，返回列表
- id、class等常用属性可直接传入该参数
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.find_all(attrs={'name':'dromouse'}))
print(soup.find_all(id='link1'))
print(soup.find_all(class_='sister')) # class是Python关键字，为避免冲突需要在class属性后加下划线
text
- text参数用于匹配节点的文本
- 传入字符串形式，支持正则表达式对象
import re
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.find_all(text='The Dormouse\'s story'))
print(soup.find_all(text=re.compile('Once')))
find()
- find()方法用于查询符合匹配条件的第一个元素
其他查询方法
- find_parents()和find_parent()：前者返回所有祖先节点，后者返回直接父节点
- find_next_siblings()和find_next_sibling()：前者返回后面所有的兄弟节点，后者返回后面第一个兄弟节点
- find_previous_siblings()和find_previous_sibling()：前者返回前面所有的兄弟节点，后者返回前面第一个兄弟节点
- find_all_next()和find_next()：前者返回节点后所有符合条件的节点，后者返回第一个符合条件的节点
- find_all_previous()和find_previous()：前者返回节点后所有符合条件的节点，后者返回第一个符合条件的节点
CSS选择器
- （暂略）
