所谓Python
中字典的概念,简单理解就是一个键值对映射的数据模型。在collections
库中有abc.Mapping
和abc.MutableMapping
两个抽象基类,用于定义标准的键值对数据结构接口。一般情况下,可以通过自定义继承dict
或者collections.User.Dict
来实现自定义的键值对映射数据结构。
Python
中的dict
内部使用散列表(Hash Table)来优化查找效率。这就要求dict
(包括各种自定义实现)内的元素的键(值没有要求)必须是可散列的。
关于可散列:
如果一个对象是可散列的,那么在这个对象的生命周期中,它的散列值是不变的,而且这个对象需要实现
__hash__()
方法。另外可散列对象还要有__qe__()
方法, 这样才能跟其他键做比较。如果两个可散列对象是相等的,那么它们的散列值一定是一样的……
一般来讲,不可变数据结构都是可散列的,但这并不绝对,准确来说,只有当数据结构中所有元素都是不可变的时候,不可变元素才是可散列的。
一般来讲用户自定义的类型的对象都是可散列的,散列值就是它们的 id() 函数的返回值,所以所有这些对象在比较的时候都是不相等的。如果一个对象实现了
__eq__ ()
方法,并且在方法中用到了这个对象的内部状态的话,那么只有当所有这些内部状态都是不可变的情况下,这个对象才是可散列的。
在dict
的实际使用当中,经常面对对于不存在键给出一个默认值的情况。
- setdefault
import sys
import re
WORD_RE = re.compile(r'\w+')
index = {}
with open(sys.argv[1], encoding='utf-8') as fp:
for line_no, line in enumerate(fp, 1):
for match in WORD_RE.finditer(line):
word = match.group()
column_no = match.start()+1
location = (line_no, column_no)
index.setdefault(word, []).append(location)
# 以字母顺序打印出结果
for word in sorted(index, key=str.upper):
print(word, index[word])
上面代码段中:
index.setdefault(word, []).append(location)
其实是和下面代码段等效的:
if word not in index:
index[key] = []
index[key].append(new_value)
不过后者需要两次键查询,而前者只需要一次。
- defaultdict
collections
内置的数据结构defaultdict
目的就是为了解决不存在键默认值的问题。
import sys
import re
import collections
WORD_RE = re.compile(r'\w+')
index = collections.defaultdict(list)
with open(sys.argv[1], encoding='utf-8') as fp:
for line_no, line in enumerate(fp, 1):
for match in WORD_RE.finditer(line):
word = match.group()
column_no = match.start()+1
location = (line_no, column_no)
index[word].append(location)
for word in sorted(index, key=str.upper):
print(word, index[word])
需要注意的是,defaultdict
初始化时的默认值方法,针对的是__getitem__
,也就是说在index[word]
这种调用形式,而使用index.get(word)
返回值依旧是None
。
- __missing__
当映射找不到键的时候,都会触发__missing__
方法。
__missing__
方法只会被__getitem__
调用(比如在表达式 d[k] 中)。提供__missing__
方法对 get 或者__contains__
( in 运算符会用到这个方法)这些方法的使用没有影响。这也是 defaultdict 中的 default_factory 只对__getitem__
有作用的原因。
Python
中的集合同样在内部使用了散列来优化查找,不同的是,集合本身不是键值对,而是一个对象的集合。(set
无序,frozenset
有序)
在dict
当中:
- 键必须是可散列的
所谓可散列,需要满足下面要求:
(1) 支持 hash() 函数,并且通过 hash() 方法所得到的散列值是不变的。
(2) 支持通过 eq() 方法来检测相等性。
(3) 若 a == b 为真,则 hash(a) == hash(b) 也为真。
2.字典在内存上的开销巨大
散列表本身就是一种用空间换时间的数据结构,当存在大量数据需要处理的时候,可能会对内存造成很大的压力。
如果你手头有几百万个对象,而你的机器有几个 GB 的内存,那么空间的优化工作可以等到真正需要的时候再开始计划,因为优化往往是可维护性的对立面。
键查询很快
键查询是O(1)级别的。键的次序取决于添加顺序
当往 dict 里添加新键而又发生散列冲突的时候,新键可能会被安排存放到另一个位置。请记住,一个良好设计的散列函数发生冲突的概率是极低的。往字典里添加新键可能会改变已有键的顺序
无论何时往字典里添加新的键,Python 解释器都可能做出为字典扩容的决定。扩容导致的结果就是要新建一个更大的散列表,并把字典里已有的元素添加到新表里。在此过程中如果发生新的冲突,有可能会改变键的次序。
在set
和frozenset
中:
• 集合里的元素必须是可散列的。
• 集合很消耗内存。
• 可以很高效地判断元素是否存在于某个集合。
• 元素的次序取决于被添加到集合里的次序。
• 往集合里添加元素,可能会改变集合里已有元素的次序。