Fluent Python笔记--字典与集合

所谓Python中字典的概念,简单理解就是一个键值对映射的数据模型。在collections库中有abc.Mappingabc.MutableMapping两个抽象基类,用于定义标准的键值对数据结构接口。一般情况下,可以通过自定义继承dict或者collections.User.Dict来实现自定义的键值对映射数据结构。
Python中的dict内部使用散列表(Hash Table)来优化查找效率。这就要求dict(包括各种自定义实现)内的元素的键(值没有要求)必须是可散列的。
关于可散列:

如果一个对象是可散列的,那么在这个对象的生命周期中,它的散列值是不变的,而且这个对象需要实现 __hash__() 方法。另外可散列对象还要有__qe__()方法, 这样才能跟其他键做比较。如果两个可散列对象是相等的,那么它们的散列值一定是一样的……

一般来讲,不可变数据结构都是可散列的,但这并不绝对,准确来说,只有当数据结构中所有元素都是不可变的时候,不可变元素才是可散列的。

一般来讲用户自定义的类型的对象都是可散列的,散列值就是它们的 id() 函数的返回值,所以所有这些对象在比较的时候都是不相等的。如果一个对象实现了__eq__ ()方法,并且在方法中用到了这个对象的内部状态的话,那么只有当所有这些内部状态都是不可变的情况下,这个对象才是可散列的。

dict的实际使用当中,经常面对对于不存在键给出一个默认值的情况。

  1. setdefault
import sys
import re

WORD_RE = re.compile(r'\w+')

index = {}
with open(sys.argv[1], encoding='utf-8') as fp:
    for line_no, line in enumerate(fp, 1):
        for match in WORD_RE.finditer(line):
            word = match.group()
            column_no = match.start()+1
            location = (line_no, column_no)
            index.setdefault(word, []).append(location) 

# 以字母顺序打印出结果
for word in sorted(index, key=str.upper):
    print(word, index[word])

上面代码段中:

index.setdefault(word, []).append(location) 

其实是和下面代码段等效的:

if word not in index:
    index[key] = []
index[key].append(new_value)

不过后者需要两次键查询,而前者只需要一次。

  1. defaultdict
    collections内置的数据结构defaultdict目的就是为了解决不存在键默认值的问题。
import sys
import re
import collections

WORD_RE = re.compile(r'\w+')

index = collections.defaultdict(list) 
with open(sys.argv[1], encoding='utf-8') as fp:
    for line_no, line in enumerate(fp, 1):
        for match in WORD_RE.finditer(line):
            word = match.group()
            column_no = match.start()+1
            location = (line_no, column_no)
            index[word].append(location) 

for word in sorted(index, key=str.upper):
    print(word, index[word])

需要注意的是,defaultdict初始化时的默认值方法,针对的是__getitem__,也就是说在index[word]这种调用形式,而使用index.get(word)返回值依旧是None

  1. __missing__
    当映射找不到键的时候,都会触发__missing__方法。

__missing__方法只会被 __getitem__ 调用(比如在表达式 d[k] 中)。提供__missing__ 方法对 get 或者 __contains__ ( in 运算符会用到这个方法)这些方法的使用没有影响。这也是 defaultdict 中的 default_factory 只对 __getitem__ 有作用的原因。

Python中的集合同样在内部使用了散列来优化查找,不同的是,集合本身不是键值对,而是一个对象的集合。(set无序,frozenset有序)

dict当中:

  1. 键必须是可散列的
    所谓可散列,需要满足下面要求:

(1) 支持 hash() 函数,并且通过 hash() 方法所得到的散列值是不变的。
(2) 支持通过 eq() 方法来检测相等性。
(3) 若 a == b 为真,则 hash(a) == hash(b) 也为真。

2.字典在内存上的开销巨大
散列表本身就是一种用空间换时间的数据结构,当存在大量数据需要处理的时候,可能会对内存造成很大的压力。
如果你手头有几百万个对象,而你的机器有几个 GB 的内存,那么空间的优化工作可以等到真正需要的时候再开始计划,因为优化往往是可维护性的对立面。

  1. 键查询很快
    键查询是O(1)级别的。

  2. 键的次序取决于添加顺序
    当往 dict 里添加新键而又发生散列冲突的时候,新键可能会被安排存放到另一个位置。请记住,一个良好设计的散列函数发生冲突的概率是极低的。

  3. 往字典里添加新键可能会改变已有键的顺序
    无论何时往字典里添加新的键,Python 解释器都可能做出为字典扩容的决定。扩容导致的结果就是要新建一个更大的散列表,并把字典里已有的元素添加到新表里。在此过程中如果发生新的冲突,有可能会改变键的次序。


setfrozenset中:

• 集合里的元素必须是可散列的。
• 集合很消耗内存。
• 可以很高效地判断元素是否存在于某个集合。
• 元素的次序取决于被添加到集合里的次序。
• 往集合里添加元素,可能会改变集合里已有元素的次序。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 218,284评论 6 506
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,115评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,614评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,671评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,699评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,562评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,309评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,223评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,668评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,859评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,981评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,705评论 5 347
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,310评论 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,904评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,023评论 1 270
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,146评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,933评论 2 355

推荐阅读更多精彩内容