前面已经初步介绍了正则式的语法规则和re模块的方法。
这次主要举了几个例子,看看re模块在实际工作中的使用。
1. re.match
设定一个字符串
content = '2005-2018 douban.com, all rights reserved 北京豆网科技有限公司'
- 常规匹配
result = re.match('2005-\d{4}\s\w{6}\W\w{3}\W{2}\w{3}\s\w{6}\s\w{8}\s.*司$', content)
print(result.group())
输出结果
> 2005-2018 douban.com, all rights reserved 北京豆网科技有限公司
- 泛匹配
result = re.match('^2005.*司$', content)
print(result.group())
输出结果
> 2005-2018 douban.com, all rights reserved 北京豆网科技有限公司
- 目标匹配(括号及group的用法)
content = '2005-2018 douban.com, all rights reserved 北京豆网科技有限公司'
result = re.match('^(\d{4})-(\d{4}).*司$', content)
print(result.group())
print(result.group(1))
print(result.groups(), type(result.groups()))
print(result.group(2))
输出结果
> 2005-2018 douban.com, all rights reserved 北京豆网科技有限公司
> 2005
> ('2005', '2018') <class 'tuple'>
> 2018
- re.match从字符串的开头匹配
(将常规匹配中表达式 改成005-\d{4}...
都不能匹配成功) - group与groups的用法:
-
group()
查看正则式所匹配内容 -
group(1)
查看正则式中第一个括号里面的内容 -
groups()
将正则式中所有括号里面的内容组成一个tuple,提取字符串要用切片的方法result.groups()[0]
-
group()
里面的参数是从1开始的,不是0。
-
-
匹配模式的参数使用 (re.S举例)
将content内容中增加换行符‘\n'
content1 = '2005-2018 douban.com, all rights reserved \n 北京豆网科技有限公司'
使用匹配模式的参数re.S
,忽略换行符匹配
(具体参数规则请查阅上次的内容)
result = re.match('^2005.*司$', content1, re.S)
result_error = re.match('^2005.*司$', content1)
print(result.group())
print(result_error)
原本正则式.*
不会匹配换行符,但是填写参数re.S
后,
输出结果就能匹配到字符串中的换行符了
> 2005-2018 douban.com, all rights reserved
北京豆网科技有限公司
> None
2. re.search
!!! 为匹配方便,能用search就不用match !!!
- 贪婪匹配
result1 = re.search('2018.*(\w{6})', content)
print(result1.group(1))
输出结果
> 科技有限公司
- 非贪婪匹配
result2 = re.search('2018.*?(\w{6})', content)
print(result2.group(1))
输出结果
> douban
区别:
匹配目标(\w{6})
是想截取2018以后的连续6个字母数字及下划线
贪婪匹配中.*
,尽可能多的匹配到中间的字符,只剩下最后6个字符作为匹配目标
非贪婪匹配.*?
,却截取与匹配目标最接近的6个字符
3. re.findall
案例:正则式爬取豆瓣图书相关信息
先获得单个html源码
url = 'https://book.douban.com/top250?icn=index-book250-all'
response = requests.get(url)
content = response.text
这里只截取书名和价格
网页源码
注意使用非贪婪匹配,否则不能截取所有信息
results = re.findall('title="(\w+)".*?<p class="pl">.*?(\d{2}\.\d{2}).*?</p>', content, re.S)
print(results)
输出结果是由tuple组成的list
[('追风筝的人', '29.00'), ('小王子', '22.00'), ('围城', '19.00'), ('解忧杂货店', '39.50'), ('活着', '12.00'), ('白夜行', '29.80'), ('挪威的森林', '18.80'), ('嫌疑人X的献身', '28.00'), ('三体', '23.00'), ('不能承受的生命之轻', '23.00'), ('红楼梦', '59.70'), ('梦里花落知多少', '20.00'), ('看见', '39.80'), ('百年孤独', '39.50'), ('何以笙箫默', '15.00'), ('可试读', '19.50'), ('白夜行', '39.50'), ('三体Ⅱ', '32.00'), ('飘', '40.00'), ('送你一颗子弹', '25.00'), ('三体Ⅲ', '38.00')]
4. re.finditer
和 findall 类似,在字符串中找到正则表达式所匹配的所有子串,并把它们作为一个迭代器返回
results = re.finditer('title="(\w+)".*?<p class="pl">.*?(\d{2}\.\d{2}).*?</p>', content, re.S)
print(results)
返回一个迭代器的对象
<callable_iterator object at 0x000001D2FDA98EB8>
要用循环语句才能调用:
for result in results:
print(result.groups())
5. re.compile
用于编译正则表达式,生成一个正则表达式(Pattern)对象,作为参数供其他re模块函数使用
- 以findall改编一下:
pattern = re.compile('title="(\w+)".*?<p class="pl">.*?(\d{2}\.\d{2}).*?</p>', re.S)
results = re.finditer(pattern, content)
6. re.sub
用于替换字符串中的匹配项
- 找出连续4个数字,替换为
hello welcome
content = '2005-2018 douban.com, all rights reserved 北京豆网科技有限公司'
result = re.sub('\d{4}', 'hello welcome', content, 1)
print(result)
输出结果为
> hello welcome-2018 douban.com, all rights reserved 北京豆网科技有限公司
- 1表示匹配一次,所以只有2005替换了
- 参数默认为0,表示符合条件的,全部替换
- 替换括号内的内容
result = re.sub('(\d{4})-(\d{4})', r'\2 welcome', content)
print(result)
输出结果为:
> 2018 welcome douban.com, all rights reserved 北京豆网科技有限公司
- 按照括号顺序,可以将匹配内容调用到替换内容中, eg.
r'\2 ...'