10《Python 原生爬虫教程》BeatifulSoup 的使用

还记得之前我们在第一个爬虫案例中使用过的 BeatifulSoup 吗？这节课我们就来正式学习一下 BeatifulSoup 这个页面提取工具，通过本节课的学习你会熟悉使用 BeatifulSoup 提取常见的网页元素。

BeatifulSoup 的基本概念
BeatifuSoup 的解析器
BeatifulSoup 的搜索筛选

1. BeatifulSoup 简介

使用 Requests 获取到页面源码后，我们需要一种工具来帮助我们结构化这些数据，从而方便我们检索需要的某个或者某些数据内容。BeautifulSoup 库就是这样一种工具，可以很方便我们对数据进行解析和数据的提取。

BeautifulSoup 的名字来源于大家耳熟能详的一部外国名著里面的小说，这部小说的名字叫做《爱丽丝梦游仙境》。从名字就可以看出，发明这个库的作者的目的是为了让使用这个库的人，心情舒畅，使用起来很方便舒适，接口简单人性化。

2. 安装 BeautifulSoup

因为 BeautifulSoup 并不是 Python 内置的库，我们需要额外安装它。我们现在普遍使用的版本是 BeautifulSoup4，简称作 bs4。

使用 pip 来安装 BeautifulSoup 很简单，打开 CMD 窗口运行下面这条命令：

pip install beautifulsoup4

安装成功后，如图所示：

5e7cc3b70939ff1c05700452.jpg

2. BeatifuSoup 解析器

解析器是一种帮我们结构化网页内容的工具，通过解析器，我们可以得到结构化的数据，而不是单纯的字符，方便我们解析和查找数据。

BeautifulSoup 的解析器有 html.parse，html5lib，lxml 等。BeautifulSoup 本身支持的标准库是 html.parse，html5lib。但是，lxml 的性能非常棒，以及拥有良好的容错能力，现在被广泛的使用。

解析器对比：

html.parse 是 Python 标准库的解析器，这个解析器执行速度不是太快，但是文档容错能力比较好。
html.5lib 同样是内置的解析器，它是通过浏览器的方式解析数据，可以生成良好的 HTML5 格式的文档，但是速度比较慢。
lxml 是第三方解析器，需要额外安装。这个解析器执行速度快，并且是唯一支持 XML 的解析器。在这里我们也会选用 lxml 来进行讲解。

安装 lxml 和安装 BeautifulSoup 类似，同样只需一行命令就好：

pip install lxml

安装成功后，如下所示：

5e7cc3cd098ce81705700452.png

3. BeautifulSoup 的四类对象

BeautifulSoup 将 HTML 转换成树形结构，每个节点都是 Python 对象，所有对象可以归纳为 4 种:

Tag；
NavigableString；
BeautifulSoup；
Comment。

下面我们一一来看下这四类对象：

Tag（标签） ，指的就是 HTML 里面的标签，比如我们常见的 title，head 等标签。

<title></title>

NavigableString (可遍历的字符串)：在获取标签之后，我们需要取标签里内容文字，我们使用 string 属性来获取。string 属性就是输出标签里内容，它的类型就是 fNavigableString。
比如，我们可以通过 string 属性，获取 “慕课网” 字符串。

<title>木子微课</title>

BeautifulSoup (文档对象)：表示一个文档的全部内容，也就是整个文档，是一种广义的 Tag 对象。
Comment (评论)：注释对象，这个是 NavigableString 的特殊类型，也就是文本里面的注释内容。
指的是获取 HTML 的注释内容，如下所示：

<!-- 木子微课 -->

4. BeautifulSoup 搜索文档树

下面我们就来具体使用一下 BeautifulSoup 这个解析工具，我们首先模仿 HTML 页面结构创建一个字符串：

<html>
<head>
<title>hello world</title>
</head>
<body>
<div>
<p class="p-one a-item" id="aaa">python introduction</p>
<p class="p-one">Basic Python Class</p>
</div>
<p class="p-two a-item" id="bbb"><b>Java introduction</b></p>
<p class="p-two"><b>Basic Java Class</b></p>
</body>
</html>

4.1 字符串

from bs4 import BeautifulSoup
soup = BeautifulSoup (open("bs4.html"), features="lxml")
soup.find_all('p')

5e7cc3dd096a245415120441.jpg

4.2 正则表达式

from bs4 import BeautifulSoup
import re
soup = BeautifulSoup (open("bs4.html"), features="lxml")
for tag in soup.find_all(re.compile("b")):
    print(tag.name)

5e7cc3e609bec6d915010229.jpg

4.3 列表

from bs4 import BeautifulSoup
soup = BeautifulSoup (open("bs4.html"), features="lxml")
soup.find_all(["a", "b"])

5e7cc3f009e4033615150470.png

4.4 搜索属性

from bs4 import BeautifulSoup
soup = BeautifulSoup (open("bs4.html"), features="lxml")
soup.find_all("p", id="aaa")

5e7cc3f909b1cd1215260178.jpg

4.5 搜索字符串内容

from bs4 import BeautifulSoup
soup = BeautifulSoup (open("bs4.html"), features="lxml")
soup.find_all(string="Java")

5e7cc40409cd2fbb15190091.jpg

4.6 搜索 CSS

5e7cc435094c1b5015170146.jpg

from bs4 import BeautifulSoup
soup = BeautifulSoup (open("bs4.html"), features="lxml")
soup.find_all(["a", "b"])