字符串和文本处理
针对任意多的分隔符拆分字符串
问题一：我们需要将字符串拆分为不同的字段，但是分隔符（以及分隔符之间的空格）
解决方法：
字符串的split（）只能处理简单情况，这里我们使用re模块
import re
line = "sadb,dsada , dsaa,hehe; haha "
result = re.split(r"[;,\s]\s*",line)
# \s 代表匹配任何空白字符，包括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v]
print(result)
>> ['sadb', 'dsada', '', 'dsaa', 'hehe', 'haha', '']
要想处理最后面的空字符使用下面方式：
line = line.strip() # 去掉字符串前后两边的空，换行字符 还有 lstrip方法和 rstrip方法
result = re.split(r"[;,\s]\s*",line)
print(result)
>> ['sadb', 'dsada', '', 'dsaa', 'hehe', 'haha']
注意：
这里正则表达式使用的是 [] 而 非 () ，如果使用()也就是正则表达式的捕获组
那么匹配的文本也会出现在结果里面。[] 是代表[]里面的满足其一就可以匹配。
line = "sadb,dsada , dsaa,hehe; haha "
line = line.strip()
result = re.split(r"[;,\s]\s*",line)
print(result)
>> ['sadb', ',', 'dsada', ' ', '', ',', 'dsaa', ',', 'hehe', ';', 'haha']
如果想要使用()并且不带有捕获组的功能，请使用(?:pattern)
line = "sadb,dsada , dsaa,hehe; haha "
line = line.strip()
result = re.split(r"(;|,|\s)\s*",line)
print(result)
result1 = re.split(r"(?:,|;|\s)\s*",line)
print(result1)
>> ['sadb', 'dsada', '', 'dsaa', 'hehe', 'haha']
如果你想要只是去掉多余的空格你也可以这样做
line = "asdf fjdk; afed, fjek,asdf, foo"
res = re.split(r"(;|,|\s)\s*",line)
values = res[::2]
print(values,1)
>> ['asdf', 'fjdk', 'afed', 'fjek', 'asdf', 'foo'] 1
delimiters = res[1::2] + [""] # 下面的zip函数转字典的时候以小的为基准
# 大的列表，多余的会被丢弃，所以添加一个多余的元素
print(delimiters,2)
>> [' ', ';', ',', ',', ',', ''] 2
print([v+d for v,d in zip(values,delimiters)],3)
>> ['asdf ', 'fjdk;', 'afed,', 'fjek,', 'asdf,', 'foo'] 3
print(dict(zip(values,delimiters)),4)
>> {'asdf': ' ', 'fjdk': ';', 'afed': ',', 'fjek': ',', 'foo': ''} 4
res2 = "".join(v+d for v,d in zip(values,delimiters))
print(res2)
>> "asdf fjdk;afed,fjek,asdf,foo"
如果是中文的字符串，去掉空格可以使用re.sub()方法，但引文不行，因为英文以空格分隔
str = "哈喽 你是？ 哈 哈"
res = re.sub(r"\s*","",str)
print(res)
>> "哈喽你是？哈哈"
在字符串的开头或结尾处做文本匹配
一种简单的方法是使用str.startswith()或者str.endswith()方法就可以了
filename = "test.txt"
res = filename.endswith(".txt")
print(res)
>> True
res = filename.startswith("haha")
print(res)
>> False
url = "http://www.baidu.com"
res = url.endswith(".cn")
print(res)
>> False
如果需要同时对多个选项做检查，只需要把参数由字符串改为元组即可。
注：不能使用列表或者集合，必须是元组
import os
# 假设当前文件夹有 目录 test ，文件 test.py ， test.js， test.txt
filenames = os.listdir(".") # .代表当前文件夹 返回结果是列表
print(filenames)
>> ["test", "test.py", "test.js", "test.txt"]
name = [name for name in filenames if name.endswith((".txt",".py"))]
print(name)
>>["test.py", "test.txt"]
# python 内建方法 any 和 all
res = any(name.endswith(".py") for name in filenames)
print(res)
>> True
res = all(name.endswith(".py") for name in filenames)
print(res)
>> False
又比如，从传入的参数获取内容，如果参数是网址，则从网址读取内容，
如果是文件名，使用文件处理。
from urllib.request import urlopen
def read_body(arg1):
if arg1.startswith(("http:","https:","ftp:")):
return urlopen(arg1).read()
else:
with open(arg1,"r") as file:
res = file.read()
return res
当然使用字符串的切片也可以解决
file_name = "test.txt"
print(file_name[-1:-4:-1] == "txt")
>> True
也可以使用正则表达式进行判断
import re
url = "http://www.baidu.com"
res = re.match(r"^(http|https|ftp).*$",url)
print(res.group(0))
>> http://www.baidu.com
print(res.group(1))
>> http
注：正则re的通配符和shell下的通配符是略有不同的
正则的？，代表前一个字符可有可无
shell的？ 代表当前位置的字符是什么我不关系
正则的* 代表前一个字符出现多少次都可以 ， 一般和 .* 搭配
shell 的 * 代表当前位置到后面位置是什么字符我不关心
比如： shell 的 da* 以da开头就行，后面的不管
da*ad 以da 开头 ad结尾就行，中间是什么不管
普通文本的匹配使用str.find() 和 str.startswith() 和 str.endswith()
更复杂的匹配就使用正则表达式re
如果一个正则表达式规则可能会多次使用，你可以使用re的compile方法
# 不使用compile方法
import re
text = "2018/06/12"
if re.match(r"\d+/\d+/\d+",text):
print("yes")
else:
print("no")
# 使用compile方法
rule = re.compile(r"\d+/\d+/\d+")
if rule.match(text):
print("yes")
else:
print("no")
使用正则表达式对文本查找和替换的时候不区分大小写
可以对正则加上re.IGNORECASE标记
import re
text = "HAHA, Hello world"
res = re.findall("HAHA", text, re.IGNORECASE)
print(res)
>> ["HAHA"]
使用正则替换的特殊情况
根据原字符的大小写决定替换后的字符的大小写
import re
text = "HAHA, Haha haha haHa"
def matchcase(word):
def replace(m):
text = m.group() # 这个 m是 re.search().group() 取匹配到的结果
if text.isupper():
return word.upper()
elif text.islower():
return word.lower()
elif text[0].isupper():
return word.capitalize()
else:
return word
return replace
res = re.sub("haha", matchcase("hello"), text, flags=re.IGNORECASE)
print(res)
>> HELLO, Hello hello hello
text = "hha"
print(re.search("h",text).group())
>> h
正则表达式在*号后面加？修饰符可以让贪婪模式变为非贪婪模式。
编写可以匹配换行符的正则表达式
使用管道符为 . 添加换行符匹配
import re
str = """/* hah
*/"""
res = re.findall(r"/\*(.|\n)*\*/",str)
print(res)
>>[' ']
res = re.findall(r"/\*(?:.|\n)*\*/",str)
print(res)
>>['/* hah\n */']
处理字符串中的特殊字符
如果想要处理字符串的开始和结尾处的空格,可以直接使用strip方法.
如果想要处理开始和结尾处的非空格字符,在strip()方法里面添加要去除的字符,比如strip("-")
如果想要处理字符串中间的内容,就要使用字符串的replace方法或者正则表达式的sub方法.
s = "hello word"
s.replace(" ","")
>>>helloword
import re
re.sub("\s+"," ",s)
>>>hello world
不过这些去除特殊字符操作,通常同迭代器相结合起来
with open(filename,"r") as f:
lines = (line.strip() for line in f) # 注意这里是生成器,不是列表生成式
for line in lines:
pass
当我们想清楚整个范围内的字符时,或者去掉音符标志.可以使用str.translate()方法
s = "python\fis\tawesome\r\n"
remap = {
ord("\t"):" ",
ord("\t"):" ",
ord("\t"):None #delete
}
a = s.translate(remap)
a
>>> python is awesome\n
字符串的常用操作:
str.upper()
str.lower()
str.find()
str.replace()
str.translate()
re.search()
re.match()
re.sub()
re.findall()
字符串的对齐操作:
使用字符串的just方法
text = "hello world"
text.ljust(20)
>>>"hello world "
text.rjust(20)
>>>" hello world"
text.center(20)
>>>" hello world "
