Python字符串开头的b"、u"、r"与中文乱码

智能决策上手系列教程索引

先看几个常见的中文乱码:

s = u'More更多请关注我'

print('--encoded---')
print('【utf-8】', bytes(s, encoding='utf-8'))
print('【utf-16】', bytes(s, encoding='utf-16'))
print('【gbk】', bytes(s, encoding='gb2312'))
print('【unicode-escape】', bytes(s, encoding='unicode-escape'))
print('--decoded--')
print('【utf-8=>utf-8】', s.encode('utf-8').decode('utf-8'))
print('【utf-8=>utf-16】', s.encode('utf-8').decode('utf-16'))
print('【utf-8=>ISO-8859-1】', s.encode('utf-8').decode('ISO-8859-1'))
print('【gbk=>ISO-8859-1】', s.encode('gbk').decode('ISO-8859-1'))

运行得到:


image.png

仔细看一下,找到下面两个规律:

  • 要么是上面encode编码后的\...\...\...,要么是错误解码decode之后的乱码。
  • 除了两个最后输出utf-16的,其他的都能正常显示英文More

u'和b'

第一行我们用了u'More...',这个u是可以省略的,在python3里面所有字符串默认都是utf-8编码解码的,这个u就是指示要用utf-8编码,所以可省略。

上面四个encoded输出的开头都有b'...'开头,因为代码里面是bytes(s,...),bytes是字节,字符串可以用很多种编码方式变为字节,就像密码电报一样,同一个信息可以用不同的算法加密成各种不同的乱码,如果你不知道是什么编码的,你就读不出。

python2中只有字节形式的字符串,没有u'开头的utf-8编码的,所以python3才发明了b'开头这种表示字节的方法,兼容旧版本。

字符串经过特定的方式编码coding成为字节,然后再通过正确的方式也可以把字节还原为字符串。关键就是要知道原来的编码方式

.encode('utf-8').decode('utf-8')这句当然看起来没毛病,所以也输出了正确的文字。
而后面s.encode('utf-8').decode('utf-16')这种就不正常了,编码encode方式和decode解码方式不一样,就导致了乱码。

解决乱码问题

首先要想办法知道或者实验出原来是什么编码的,你可以对照上面输出的代码进行猜测。

如果是很多斜杠的bytes,那么就直接尝试不同的decode:

s=b'More\xe6\x9b\xb4\xe5\xa4\x9a\xe8\xaf\xb7\xe5\x85\xb3\xe6\xb3\xa8\xe6\x88\x91'
print(s.decode('utf-8'))

如果是被错误解码的乱码,那么就尝试反向encode再decode就能还原:

#乱码来自s.encode('gbk').decode('ISO-8859-1')
s='More¸ü¶àÇë¹Ø×¢ÎÒ'.encode('ISO-8859-1').decode('gbk')
print(s)

r' 强制不转义

先看下这个问题:

s1=r'.\folder\new.file'
s2=b'.\folder\new.file'
s3=u'.\folder\new.file'
print('r:',s1)
print('b:',s2)
print('u:',s3)

它的输出是这样的,你肯定猜不到:


image.png

为什么会是这样?只有r开头的正常。
我们都知道代码里面字符串要用引号包裹,那么字符串里面要是也有引号怎么办?换行怎么办?

编程语言会用特殊方法来表示这些特殊符号,叫做转义字符。比如\n表示回车换行,\f表示换页,\"表示双引号,\'标示单引号...

那么真的遇到了\n怎么办?就像上面那个情况,b'把f编码成了\x0,而u'直接把\f弄没了,\n变成了回车...

为了避免这种情况,就有了r'强制不转义,优点是明显的,不会乱变,缺点也是有的,那就不能真的显示回车换行了啊。

一般在目录地址和正则表达式中我们常用r'避免混乱。


智能决策上手系列教程索引

每个人的智能决策新时代

如果您发现文章错误,请不吝留言指正;
如果您觉得有用,请点喜欢;
如果您觉得很有用,欢迎转载~


END

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,776评论 6 496
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,527评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,361评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,430评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,511评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,544评论 1 293
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,561评论 3 414
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,315评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,763评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,070评论 2 330
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,235评论 1 343
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,911评论 5 338
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,554评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,173评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,424评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,106评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,103评论 2 352

推荐阅读更多精彩内容