我们知道python爬虫的解析库有很多，我们选取了lxml，bs4，re，pyquery，进行测试。
- bs4：纯python写的文档树解析库，它有4种解析器(lxml,html.parser,html5lib),我们测试的是lxml，主要可以通过标签进行定位，也可以通过css选择器进行定位
- pyquery：模拟前端jQuery写的python文档树解析库，用起来跟jQuery非常相似，用的都是css语法进行定位元素
- xpath：lxml是用c语言编写通过python调用的解析库，用的xpath语法
- re：python正则表达式库
4个库各有优缺点： - bs4更多的用于解析script标签的文本，因为它的速度实在太慢了
- re则是进行非结构化的文档进行匹配
- lxml底层是c实现的，在速度上毋庸置疑，同时易用性也很高
- pyquery使用更加比xpath和bs4更加灵活，PyQuery对象可以直接解析html文件，url(通过urllib进行请求返回结果)，文档字符串
代码如下
"""
@Author: Jonescyna
@Created: 2020/12/28
"""
import requests
import time
import re
from pyquery import PyQuery as pq
from lxml import etree
from bs4 import BeautifulSoup
def cal_time(func):
def inner(*args, **kwargs):
start = time.time()
ret = func(*args, **kwargs)
print(f'{func.__name__}:{time.time() - start}s')
return ret
return inner
base_url = 'https://www.amazon.cn/b/ref=s9_acss_bw_cg_pccateg_2a1_w?node=106200071&pf_rd_m=A1U5RCOVU0NYF2&pf_rd_s=merchandised-search-2&pf_rd_r=PQNKPPABQXAWCTZSNFXA&pf_rd_t=101&pf_rd_p=cdcd9a0d-d7cf-4dab-80db-2b7d63266973&pf_rd_i=42689071'
def get(url):
headers = {"User-Agent": 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:82.0) Gecko/20100101 Firefox/82.0', }
resp = requests.get(url, headers=headers)
return resp.text
@cal_time
def parse_by_pq(html):
for _ in range(50):
doc = pq(html)
h2_list = doc('h2').items()
for h2 in h2_list:
h2.text()
@cal_time
def parse_by_xpath(html):
for _ in range(50):
doc = etree.HTML(html)
h2_list = doc.xpath('//h2')
for h2 in h2_list:
title = h2.xpath('./text()')[0]
@cal_time
def parse_by_bs4(html):
for _ in range(50):
soup = BeautifulSoup(html, 'lxml')
h2_list = soup.find_all('h2')
for h2 in h2_list:
title = h2.text
@cal_time
def parse_by_re(html):
for _ in range(50):
h2_list = re.findall(r'<h2 .*>\n(.*)\n<', html)
for h2 in h2_list:
title = h2
if __name__ == '__main__':
resp = get(base_url)
parse_by_pq(resp)
parse_by_xpath(resp)
parse_by_bs4(resp)
parse_by_re(resp)
执行结果
测试环境：本人用的是台式电脑进行的测试，win10系统配置为i5，16G内存(ddr3)，不同的电脑跟网络环境直接影响解析速度，在相同的环境下，时间浮动不会太大
parse_by_pq:0.9650003910064697s
parse_by_xpath:0.761019229888916s
parse_by_bs4:2.878000020980835s
parse_by_re:0.01597905158996582s
