字符编码
为什么Python使用过程中会出现各式各样的乱码问题,明明是中文字符却显示成“/xe4/xb8/xad/xe6/x96/x87”的形式?为什么会报错“UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)”?本文就来研究一下这个问题。
字符串在Python内部的表示是unicode编码,因此,在做编码转换时,通常需要以unicode作为中间编码,即先将其他编码的字符串解码(decode)成unicode,再从unicode编码(encode)成另一种编码。
decode的作用是将其他编码的字符串转换成unicode编码,如str1.decode('gb2312'),表示将gb2312编码的字符串str1转换成unicode编码。
encode的作用是将unicode编码转换成其他编码的字符串,如str2.encode('gb2312'),表示将unicode编码的字符串str2转换成gb2312编码。
因此,转码的时候一定要先搞明白,字符串str是什么编码,然后decode成unicode,然后再encode成其他编码
#!/usr/bin/env python
#coding=utf-8
s="中文"
if isinstance(s, unicode):
#s=u"中文"
print s.encode('gb2312')
else:
#s="中文"
print s.decode('utf-8').encode('gb2312')
原文:https://blog.csdn.net/lxdcyh/article/details/4018054
正则过滤emoji
import re
text = '❤️佛渡有缘人【引流】QQ:1099615807 微信:CL8887888/.,s,,,,,.。。。。????'
myre = re.compile(ur"[^A-Za-z0-9\s\r\t\n\u4e00-\u9fa5\uff08\u3008\u300a\u300c\u300e\ufe43\u3014\u2026\uff5e\uffe5\u3010\uff0c\uff1f\uff1a\u201c\u2018\uff09\u3009\u300b\u300d\u300f\ufe44\u3015\u2014\ufe4f\u3001\u3011\u3002\uff01\uff1b\u201d\u2019\[\]\(\){}\|\"\:<>~`!@#$%&*?,./:]")
cleanEmoji = myre.sub(u'[emoji]', text)
print cleanEmoji
// 输出 [emoji][emoji]佛渡有缘人【引流】QQ:1099615807[emoji]微信:CL8887888/.,s,,,,,.。。。。
上面的例子用于存数据进sqlite3数据库时将emoji过滤,因为找了很久都没找到将emoji存进数据库的方法,在其他数据库可以将编码格式换成utf-8mb4便可以存储emoji。上面正则的意思是匹配 数字、字母、中文、中英文的标点符号 以外的文本。
os操作
os.path.join(str1,str2)
: 用于拼接两个文件路径,在windows下可以补齐 \
,在Linux下自动补齐/
,这样可以避免在不同操作系统环境下路径不对的坑。
os.path.exists(path)
: 判断该路径是否存在,一般用来判断文件是否存在
os.system
: 执行终端命令
os.remove
: 删除文件
os.removedirs
: 删除空的文件夹
# 删除非空文件夹
import shutil
shutil.rmtree(path)