摘要:Base64是一种编码方式用64个字符来表示二进制数据;struct模块用来处理bytes和其他二进制数据类型的转换。
*写在前面:为了更好的学习python,博主记录下自己的学习路程。本学习笔记基于廖雪峰的Python教程,如有侵权,请告知删除。欢迎与博主一起学习Pythonヽ( ̄▽ ̄)ノ *
目录
常见内置模块
Base64
• 编码示例
• base64 模块
• urlsafe的base64编码
• 【练习】自动处理去掉=的base64编码函数
struct
• 用struct分析bmp文件
常见内置模块
Base64
Base64是一种编码方式,用64个字符来表示二进制数据。
哪64个字符?就是26个大写字母、26个小写字母、0-9 10个数字以及两个符号+
、/
。
我们都知道,用UTF-8编码的话,一个英文字符占一个字节,而一个中文字符占三个字节。一个byte(字节)有8bit(比特)。
在Base64编码中,每三个字节一组,一共有3x8=24bit。然后每6bit编一个字符,刚好能编出4个字符。
二进制6bit能够表示数字0-63,64个整数,一个整数对应一个字符。下面是Base64索引表:
• 编码示例
看一个编码示例:
• base64 模块
在Python中,直接引进base64模块,用base64.b64encode( )来编码,用base64.b64decode( )来解码。
>>>import base64
>>>base64.b64encode(b'Hug')
b'SHVn'
>>>base64.b64decode(b'SHVn')
b'Hug'
如果需要编码的二进制数据不是3的倍数,那么Base64会自动补充缺的字节,然后在编码的末尾加上1或2个=
号。
>>>import base64
>>>base64.b64encode(b'Hello, world!')
b'SGVsbG8sIHdvcmxkIQ=='
>>>base64.b64decode(b'SGVsbG8sIHdvcmxkIQ==')
b'Hello, world!'
很多Base编码会把加上的=号去掉,因为在URL、Cookie里面会造成歧义。而如果要解码,则加上相应的=号即可。
• urlsafe的base64编码
对于标准的Base64编码出现的+
和/
,不能在URL中直接作为参数,所以有一种“url safe”的Base64编码,把其中的字符+
和/
改为-
和_
。
>>> base64.b64encode(b'i\xb7\x1d\xfb\xef\xff')
b'abcd++//'
>>> base64.urlsafe_b64encode(b'i\xb7\x1d\xfb\xef\xff')
b'abcd--__'
>>> base64.urlsafe_b64decode('abcd--__')
b'i\xb7\x1d\xfb\xef\xff'
一般而言,我们不会用Base64编码来加密数据,因为它是一种公开的编码方式。
Base64主要用于在URL、Cookie、网页中传输少量二进制数据。
• 【练习】自动处理去掉=的base64编码函数
请写一个能处理去掉=
的base64解码函数(练习源自廖雪峰官网):
# -*- coding: utf-8 -*-
import base64
def safe_base64_decode(s):
while len(s)%4 != 0: # 当字符数不能被4整除时
s = s + b'=' # 在末尾添加符号=
return base64.b64decode(s)
# 测试:
assert b'abcd' == safe_base64_decode(b'YWJjZA=='), safe_base64_decode('YWJjZA==')
assert b'abcd' == safe_base64_decode(b'YWJjZA'), safe_base64_decode('YWJjZA')
print('ok')
结果:
ok
struct
struct模块用来处理bytes和其他二进制数据类型的转换。
通过struct的pack( )函数,可以把任意数据类型转化为bytes:
>>> import struct
>>> struct.pack('>I', 10240099)
b'\x00\x9c@c'
在这里函数pack输入了两个参数,第一个参数是处理指令,第二参数是需要转化的数据。
其中处理指令
>
表示字节顺序为big-endian,即网络序。
I
表示4字节无符号整数。
需要注意的是,第二个参数个数要与处理指令一致。
(补充说明:
为什么结果为b'\x00\x9c@c'
?
bytes的显示形式是b''
,在''里面如果一个bytes的值能够与ASCII
编码的显示字符对应,则以ASCII
编码字符显示,反之,则以\x
后接十六进制来显示。
整数10240099
,转化为四字节,如果全部转为十六进制,为\x00\x9c\x40\x63
,其中\x40
在ASCII
编码中能表示为@
,\x63
能表示为c
,所以结果为b'\x00\x9c@c'
)
此外,可以用unpack把bytes转化成相应的数据类型:
>>> struct.unpack('<IH', b'\xf0\xf0\xf0\xf0\x80\x80')
(4042322160, 32896)
其中处理指令
<
表示字节顺序为little-endian。
IH
表示把bytes依次变为4字节无符号整数和2字节无符号整数。
关于更多的struct模块定义的数据类型及其参数说明,可以参考Python的官方文档
Python并不适合编写底层操作字节流的代码,但是对性能要求不高的地方,用struct就方便很多。
下面看廖雪峰官网的一个例子(以下内容转自廖雪峰官网):
• 用struct分析bmp文件
Windows的位图文件(.bmp)是一种非常简单的文件格式,我们来用struct分析一下。
首先找一个bmp文件,没有的话用“画图”画一个。
读入前30个字节来分析:
>>> s = b'\x42\x4d\x38\x8c\x0a\x00\x00\x00\x00\x00\x36\x00\x00\x00\x28\x00\x00\x00\x80\x02\x00\x00\x68\x01\x00\x00\x01\x00\x18\x00'
BMP格式采用小端方式存储数据,文件头的结构按顺序如下:
两个字节:'BM'
表示Windows位图,'BA'
表示OS/2位图;
一个4字节整数:表示位图大小;
一个4字节整数:保留位,始终为0;
一个4字节整数:实际图像的偏移量;
一个4字节整数:Header的字节数;
一个4字节整数:图像宽度;
一个4字节整数:图像高度;
一个2字节整数:始终为1;
一个2字节整数:颜色数。
所以,组合起来用unpack
读取:
>>> struct.unpack('<ccIIIIIIHH', s)
(b'B', b'M', 691256, 0, 54, 40, 640, 360, 1, 24)
结果显示,b'B'
、b'M'
说明是Windows位图,位图大小为640x360,颜色数为24。
以上就是本节的全部内容,感谢你的阅读。
下一节内容:常见内置模块之 hashlib
有任何问题与想法,欢迎评论与吐槽。
和博主一起学习Python吧( ̄▽ ̄)~*