Python 经验 - 装饰器

装饰器是函数闭包最重要的应用,在面试中经常会被问到,今天总结的用法是我参加面试/刷面试题时候遇到的。


如何为被装饰函数保存元数据?

元数据(MetaData)是关于数据的数据,是用来描述数据信息。
查看这些元数据的函数是dir(func):

def func():
    pass
dir(func)

执行结果:

['__annotations__', '__call__', '__class__', '__closure__', '__code__', '__defaults__', '__delattr__', '__dict__', '__dir__', '__doc__', '__eq__', '__format__', '__ge__', '__get__', '__getattribute__', '__globals__', '__gt__', '__hash__', '__init__', '__kwdefaults__', '__le__', '__lt__', '__module__', '__name__', '__ne__', '__new__', '__qualname__', '__reduce__', '__reduce_ex__', '__repr__', '__setattr__', '__sizeof__', '__str__', '__subclasshook__']

很显然元数据的数量与函数的复杂程度无关。
其中有几个重要的元数据:

def f(a, b=1, c=[]):
    """test function"""
    print(a, b, c)
    
# __name__      test
# __doc__       test function
# __defaults__  (1, []),尽量不要使用可变类型为参数


# 获取函数内部变量
def f():
    a = 3
    return lambda k: a**k

g = f()
print(g.__closure__[0].cell_contents)
# 输出3,__closure__返回函数中的局部变量列表

在使用装饰器的时候,闭包默认不会保存原函数的元数据:

from functools import update_wrapper
def decorator(func):
    def wrapper(*args, **kwargs):
        """wrapper test"""
        print("decorator test")
        func(*args, **kwargs)
    return wrapper
    
@decorator
def func():
    """func test"""
    print("func test")

print(func.__name__)
print(func.__doc__)

执行结果:

wrapper
wrapper test

很显然原函数的name为func,doc为func test,但经过装饰后已经被修改为装饰器内部函数的元数据。

要使函数被装饰后仍保留原来的元数据可以使用以下两种方法定义装饰器:

def decorator(func):
    @wraps(func)                     # 方法一
    def wrapper(*args, **kwargs):
        """decorator test"""
        print("wrapper test")
        func(*args, **kwargs)
    # update_wrapper(wrapper, func)  # 方法二
    return wrapper

两者取其一即可,装饰后重新执行刚才的函数:

func
func test

带参数的装饰器

除了接收被装饰函数的参数以外,装饰器本身也可以传入参数,下面的例子是利用装饰器参数对被装饰函数接收的参数类型进行判断:

from inspect import signature

def type_assert(*args, **kwargs):

    def decorator(func):
        sig = signature(func)
        # 提取函数签名:返回参数名与参数类型的有序字典:
        # OrderDict([("a", <class "int">), ("b", <class "str">), ("b", <class "list">)])
        types = sig.bind_partial(*args, **kwargs).arguments

        def wrapper(*args, **kwargs):
            arg_dict = sig.bind(*args, **kwargs).arguments
            # 其中key为参数名(a), value为参数值(1),types[key]为类型(int)
            for key, value in arg_dict.items():     
                if key in types and not isinstance(value, types[key]):
                    raise TypeError("'{}' must be '{}'".format(key, types[key]))
            return func(*args, **kwargs)
        return wrapper
    return decorator


@type_assert(int, str, list)
def f(a, b, c):
    print(a, b, c)
    
f(1, "2", [3])
f(1, 2, 3)

执行结果:

1 2 [3]
Traceback (most recent call last):
  File "E:/Projects/PythonLearning/Notes/decorator.py", line 105, in <module>
    f(1, 2, 3)
  File "E:/Projects/PythonLearning/Notes/decorator.py", line 94, in wrapper
    raise TypeError("'{}' must be '{}'".format(key, types[key]))
TypeError: 'b' must be '<class 'str'>'

在装饰器内部已经对原函数参数执行判断并抛出异常。

属性可修改的装饰器

装饰器内部的参数影响装饰效果,可以在装饰器内部定义一个函数用于修改这个参数,这个函数可以看作被装饰函数的内置方法使用。
下面的例子是定义一个计时装饰器,当被装饰函数运行超过超时时间则输出日志(而这个超时时间是可以动态修改的):

def timer(timeout):
    timeout = [timeout]     # 必须使用list等可变类型,否则无法被set_timeout修改

    def decorator(func):
        def wrapper(*args, **kwargs):
            start = time.time()
            res = func(*args, **kwargs)
            used = time.time() - start
            # 当运行时间超过timeout时会输出日志
            if used > timeout[0]:
                print("'{}': {} > {}".format(func.__name__, used, timeout[0]))
            return res

        # 设置超时时间函数:被装饰函数可调用
        def set_timeout(value):
            timeout[0] = value

        # 把set_timeout设置为被装饰函数的方法
        wrapper.set_timeout = set_timeout
        return wrapper

    return decorator


@timer(2)
def test():
    time.sleep(1)

test()                  # 无输出:runtime(1s) < timeout(2)
test.set_timeout(0.5)
test()                  # 有输出:runtime(1s) > timeout(0.5)

第一次执行时函数运行需要1秒,超时时间为2秒,所以没有日志输出;
第二次执行时函数运行同为1秒,但超时时间改为0.5秒,所以有日志输出。

类的装饰器

除了函数以外,类也可以使用装饰器,其中最典型的应用是实现设计模式中的单例模式(同时也是装饰器模式):

def Singleton(cls):

    instances = {}
    
    def singleton(*args, **kwars):
        # 第一次实例化时创建一个对象存放在instances
        # 下次再使用这个类实例化时只从instances取用,而不再创建对象
        if cls not in instances:
            instances[cls] = cls(*args, **kwars)
        return instances[cls]

    return singleton


@Singleton
class Student(object):

    def __init__(self, name):
        self.name = name

s1 = Student("ywh")
print(s1.name)
s2 = Student("123")
print(s2.name)

执行结果:

ywh
ywh

虽然两次创建了Student对象,但执行的效果却是同一个Student对象,因为根据闭包的特性,函数执行完毕其内部的instances字典仍然保留在内存中,所以下次调用Student类实例化时会从instances取用。

递归与缓存

在Python中使用程序计算Fibonacci数列只需要一行代码:

def fibonacci(n):
    return fibonacci(n-1) + fibonacci(n-2) if n > 2 else 1

但这种方式计算效率不是一般的低(我家电脑i5-6200U + 8G DDR4计算到40项左右就已经很吃力了......),缺点在于求任意一项都需要前面两项的值,充斥着大量的重复计算(例如计算第5项需要第3和第4项,计算第4项需要第2和第3项的值,光是这两步第3项就被算了两次了= =)。
如果在计算的同时把中间结果保留到缓存中,下次直接从缓存获取就不需要重新计算了,测试:

def decorator(func):
    cache = {}

    def wrapper(*args, **kwargs):
        if args not in cache:
            cache[args] = func(*args)
        return cache[args]
    return wrapper

@decorator
def fibonacci(n):
    return fibonacci(n-1) + fibonacci(n-2) if n > 2 else 1

之前已经说过因为闭包的特性cache里面的元素会一直保存在内存中,所以下次递归的时候就能先尝试从cache中取值,这样就能大幅度提高效率了:

@decorator
def f1(n):
    return f1(n - 1) + f1(n - 2) if n > 2 else 1

def f2(n):
    return f2(n - 1) + f2(n - 2) if n > 2 else 1

start = time.time()
res = f1(40)
time.sleep(0.1)
end = time.time()
print("{}, {}s".format(res, end - start))


start = time.clock()
res = f2(40)
time.sleep(0.1)
end = time.clock()
print("{}, {}s".format(res, end - start))

执行结果:

102334155, 0.10854005813598633s
102334155, 39.62842997040642s

装饰器的用法灵活多变(例如还可以把类的实例方法作为装饰器函数,此时在被装饰函数中就可以持有实例对象,便于修改实例的属性、拓展功能。),在这里无法一一列出,更多细节和有趣的用法还需要在日常开发中发现和积累。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 211,423评论 6 491
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,147评论 2 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,019评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,443评论 1 283
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,535评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,798评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,941评论 3 407
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,704评论 0 266
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,152评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,494评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,629评论 1 340
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,295评论 4 329
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,901评论 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,742评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,978评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,333评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,499评论 2 348

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,629评论 18 139
  • 国家电网公司企业标准(Q/GDW)- 面向对象的用电信息数据交换协议 - 报批稿:20170802 前言: 排版 ...
    庭说阅读 10,926评论 6 13
  • chrome 开发工具 在开发者工具中使用? 来打开通用设置,从那里你可以定位到快捷键面板来查看所有支持的快捷键 ...
    神刀阅读 158评论 0 0
  • 今天是听记训练的第一天,感觉又回到大学时代,曾经英语4级大一上学期就通过,夜深人静,独自坐在窗台听英语,记笔记...
    chenxi66阅读 149评论 2 1