闭包与装饰器
大家好!这一章我们要探讨的是闭包和装饰器这两个非常有趣的 Python 特性。它们听起来可能比较抽象,但其实这两者在 Python 中都跟函数的使用息息相关。如果你掌握了函数的基本用法,闭包和装饰器会变得容易理解。我们可以通过一些例子来慢慢深入讲解。
简介
闭包和装饰器本质上都是 Python 中函数使用的一种特殊的变形形式,如果需要掌握闭包和装饰器,就先要理解函数。
首先,要讲解闭包和装饰器,我们得从 Python 的函数说起。函数是 Python 中非常重要的概念,而闭包和装饰器其实就是对函数的一些“变形”,或者说是一些特殊的应用。如果你已经有了函数的基础,那理解闭包和装饰器就不难了。
函数引用
讲解闭包之前,需要理解一个概念,Python 中定义的函数,也可以像变量一样,将一个函数名,赋值给另一个变量名,赋值后,此变量名就可以做为该函数的一个别名使用,进行调用函数。
此功能在讲解列表操作的 sort() 方法时使用过,sort() 方法的 key 参数传入的就是一个函数名。
def show():
print("Show Run ...")
show()
a = show
a()
在讲闭包之前,我们先了解一个概念,那就是“函数引用”。你可以把 Python 中的函数当成一个变量来使用。也就是说,我们可以将一个函数的名字赋给另一个变量,然后通过这个变量来调用函数。举个例子,假设有一个 show 函数,我们可以像下面这样将它赋值给另一个变量 a,然后用 a小括号 来调用它。
注意: 在将一个函数名(函数引用)赋值给一个变量时,函数名后不能添加括号。
这里一定要注意,在赋值函数引用时,函数名后面不要加上括号。如果加了括号,就相当于调用了函数,而不是引用它。
闭包
闭包 Closure 是指在一个嵌套的函数内部访问其外部函数中定义的变量或函数的能力。换句话说,闭包是一个函数对象,它可以记住并访问它创建时的上下文环境中的变量。
闭包通常由两个部分组成:内部函数和与其相关的环境变量。
- 内部函数是在外部函数中定义的函数,它可以访问外部函数中的局部变量和参数,以及外部函数所在的作用域中的变量。
- 环境变量是在外部函数中定义的变量或其他函数对象,它被内部函数引用并记住,即使外部函数执行完成后仍然存在。
接下来我们正式进入闭包的概念。闭包是指在一个嵌套函数中,内部函数可以访问外部函数中定义的变量。也就是说,闭包能够“记住”并访问它定义时的外部作用域中的变量。闭包主要由两部分组成。内部函数是指定义在外部函数内的函数,可以访问外部函数的变量。环境变量是指在外部函数中定义的变量,它们被内部函数“记住”并在外部函数执行完毕后依然存在。闭包的好处之一是,它能够访问并修改外部函数中的局部变量,而且这些变量在闭包外部的作用域中依然能被访问到。
闭包的特点包括:
- 内部函数可以访问外部函数中定义的变量和参数,即使外部函数已经执行完毕。
- 闭包可以在外部函数的作用域之外被调用和执行。
- 闭包可以访问并修改外部函数中的局部变量,使其具有持久性。
总结一下,闭包的最主要特点包含这几点。首先,内部函数可以访问外部函数中定义的变量和参数,即使外部函数已经执行完毕。然后,闭包可以在外部函数的作用域之外被调用和执行。最后,闭包可以访问并修改外部函数中的局部变量,使其具有持久性。
闭包的应用场景包括:
- 保护私有变量:可以使用闭包来创建私有变量和方法,通过内部函数的作用域和环境变量,可以实现对外部访问的限制。
- 延迟执行:可以使用闭包来延迟某个函数的执行,即在函数外部创建一个闭包,将需要执行的函数作为内部函数,通过调用闭包来触发函数的执行。
- 缓存数据:可以使用闭包来缓存一些昂贵的计算结果,以避免重复计算,提高程序的性能。
那什么时候会需要应用到闭包呢?下面给大家列举几个常见的场景。闭包可以用来保护私有变量,比如可以使用闭包来创建私有变量和方法,通过内部函数的作用域和环境变量,可以实现对外部访问的限制。使用闭包还可以来延迟某个函数的执行,即在函数外部创建一个闭包,将需要执行的函数作为内部函数,通过调用闭包来触发函数的执行。闭包还能够用来缓存一些昂贵的计算结果,以避免重复计算,提高程序的性能。
示例
def out_func():
out_n = 100
def inner_func():
print(out_n)
return inner_func
if __name__ == '__main__':
of1 = out_func()
of2 = out_func()
of1()
of2()
来看一个闭包的例子。在这个例子中,out_func 是外部函数,inner_func 是内部函数,inner_func 能够访问 out_func 中的 out_n 变量,形成了闭包。当我们调用 of1() 时,即使 out_func 已经执行完毕,inner_func 仍然可以访问到 out_n 变量并输出它的值。
nonlocal
与全局变量一样,在函数内是不能直接修改函数外的变量的,如果修改全局变量需要使用 global 在函数内部声明变量为全局变量。
闭包中要修改变量也是一样,内函数是不能直接修改外函数中定义的变量的,如果需要修改,要在内函数中使用 nonlocal 关键字声明该变量为外函数的变量。
接下来我们要讲解一个关键字 nonlocal。在闭包中,如果你想修改外部函数的变量,必须使用 nonlocal 关键字声明该变量,而不是像修改全局变量时使用 global。如果不使用 nonlocal,你只能在内部函数中定义一个新的局部变量,而无法修改外部函数的变量。
不使用 nonlocal 修饰
def out_func():
out_n = 100
def inner_func():
out_n = 200
print("inner:",out_n)
print("outer1:",out_n)
inner_func()
print("outer2:",out_n)
return inner_func
if __name__ == '__main__':
of1 = out_func()
of1()
# 结果:
# outer1: 100
# inner: 200
# outer2: 100
# inner: 200
先来看一个不使用 nonlocal 的例子。在这个例子中,inner_func 修改的是 out_func 中的局部变量 out_n,但它并不会影响外部函数中的 out_n。
使用 nonlocal 修饰
def out_func():
out_n = 100
def inner_func():
nonlocal out_n
out_n = 200
print("inner:",out_n)
print("outer1:",out_n)
inner_func()
print("outer2:",out_n)
return inner_func
if __name__ == '__main__':
of1 = out_func()
of1()
# 结果:
# outer1: 100
# inner: 200
# outer2: 200
# inner: 200
如果你希望 inner_func 能够修改外部函数中的 out_n,就需要使用 nonlocal。这样,inner_func 就能修改外部函数 out_func 中的 out_n 变量了。
装饰器
装饰器是 Python 提供的一种语法糖,装饰器使用 @ 符号加上装饰器名称,用于修改其他函数的行为,并且在不修改原始函数定义和调用的情况下添加额外的功能。
装饰器提供了一种简洁而优雅的方式来扩展和修改函数或类的功能。它本质上就是一个闭包函数。
了解了闭包之后,接下来我们来介绍一下装饰器。装饰器是 Python 中非常常用的一个概念,它是通过 @ 符号来修饰函数的,能够为函数增加额外的功能,而不改变原函数的定义和调用方式。装饰器其实就是一个闭包,它的作用就是修改其他函数的行为,比如我们可以用它来给函数加上日志、权限检查、时间统计等功能。
装饰器的功能特点:
- 不修改已有函数的源代码
- 不修改已有函数的调用方式
- 给已有函数增加额外的功能
总结一下,装饰器的特点有这三个。第一,不修改已有函数的源代码。第二,不修改已有函数的调用方式。第三,给已有函数增加额外的功能。
装饰器的使用
由于装饰器本质上就是一个闭包函数,所以在使用自定义装饰器之前,需要先定义一个用来做为装饰器的闭包。
而闭包的外部函数名,就作为装饰器名使用。
import time
def count_time(func):
def inner():
start_time = time.time()
func()
stop_time = time.time()
print(f'函数执行时间为{stop_time - start_time}秒')
return inner
@count_time
def show():
for i in range(3):
print(f"第 {i+1} 次输出")
time.sleep(1)
if __name__ == '__main__':
show()
# 结果:
# 第 1 次输出
# 第 2 次输出
# 第 3 次输出
# 函数执行时间为3.0111730098724365秒
我们来看一个例子,利用装饰器统计函数的执行时间。刚才也说过了,装饰器本质上就是一个闭包函数,所以需要先定义一个用来做为装饰器的闭包。这个闭包的外部函数名,就作为装饰器名使用。在这个例子中,@count_time 就是一个装饰器,它会在 show 函数执行前后分别记录时间,输出函数的执行时间。这样我们就可以在不修改 show 函数的情况下,为它加上了统计执行时间的功能。
上面代码中,使用闭包实现了一个函数执行时间统计的功能。
在 show 函数上,使用闭包函数做为装饰器为 show 统计运行时间。
通过代码可以看出,在使用 count_time 函数做为装饰器时,即没有改变show函数的内部定义,也没有改变 show 函数的调用方式,但却为 show 函数额外扩展了运行时间统计的功能,这就是装饰器的作用。
通过代码可以看出,在使用 count_time 函数做为装饰器时,即没有改变 show 函数的内部定义,也没有改变 show 函数的调用方式,但却为 show 函数额外扩展了运行时间统计的功能,这就是装饰器的作用。
装饰器的本质
装饰器提供了一种简洁而优雅的方式 -- 语法糖 来扩展和修改函数或类的功能。其本质就是函数的使用。
语法糖:在计算机科学中,语法糖(Syntactic sugar)是指一种语法上的扩展,它并不改变编程语言的功能,只是提供了更便捷、更易读的写法,使得代码更加简洁和可理解。
这个用法看起来是不是还挺神奇的。下面我们来介绍一下装饰器的执行原理。装饰器其实是 Python 中提供的一种“语法糖”。你可以把语法糖想象成一种“简化工具”,它通过让代码变得更加简洁、易读,降低了代码的复杂性,但并没有增加新的功能。语法糖的目的是让程序员在不牺牲语言功能的前提下,能够以更简单、直观的方式完成任务。所以说,装饰器本质上还是函数,只不过通过 @ 这个符号让我们能够以一种更简洁的方式来使用它,扩展函数的功能。在 Python 中,装饰器、切片、推导式等都是常见的语法糖,它们都是为了简化代码书写,使得代码更加易懂、易维护。
Python 解释器在遇到装饰器时,会将被装饰函数引用做为参数传递给闭包的外函数,外函数执行后,返回内函数的引用,此时,再将内函数引用赋值给被装饰器函数。
当 Python 解释器执行完装饰过程后,被装饰函数的函数名就不在保存原函数的引用,而是保存的闭包函数 inner 的引用。
而当执行被装饰函数时,实际执行的是闭包函数 inner ,由 inner 间接调用被装饰函数,完成整个调用过程。
@count_time
def show():
pass
下面来看看装饰器的执行过程。
Python 解释器解释过程:
show = count_time(show)
当我们用装饰器时,Python 解释器会将被装饰函数作为参数传递给装饰器内部的闭包,闭包执行后,返回内函数的引用。然后,再把内函数的引用赋值给原函数的名字。这样,我们实际上调用的是装饰器返回的内函数,而不是原始函数。
前面示例代码可修改为:
import time
def count_time(func):
def inner():
start_time = time.time()
func()
stop_time = time.time()
print(f'函数执行时间为{stop_time - start_time}秒')
return inner
def show():
for i in range(3):
print(f"第 {i+1} 次输出")
time.sleep(1)
if __name__ == '__main__':
show = count_time(show)
show()
如果我们是不使用装饰器这种语法糖,那么刚才的效果也可以使用普通的函数调用来实现。比如我们调用 count_time 方法,里面传入 show 的引用,得到的内函数 inner 的引用,然后把这个结果赋值给 show。这样其实也是相同的效果。我们再调用 show 其实就是在调用 inner 函数。
注意:装饰器装饰过程是由 Python 解释器执行,不需要显示书写,此处只为讲解原理演示。
不过这里大家要注意,我们上面演示的是不使用装饰器的情况下的执行过程。如果我们使用了装饰器,上面的那个调用过程就是由 Python 解释器自动去执行,我们就不需要显示的去书写了。
通用装饰器
理论上,一个装饰器可以装饰任何函数,但实际前面定义的做为装饰器的 count_time 函数却只能装饰特定的无参无返回值的函数。
如果需要装饰器可以装饰任何函数,那么就需要解决被装饰函数的参数及返回值的问题。
可以通过可变参数和在内函数中返回被装饰函数执行结果的形式解决此问题。
# 做为装饰器名的外函数,使用参数接收被装饰函数的引用
def decorator(func):
# 内函数的可变参数用来接收被装饰函数使用的参数
def inner(*args, **kwargs):
# 装饰器功能代码
# 调用被装饰函数,并将接收的参数传递给被装饰函数,保存被装饰函数执行结果
result = func(*args, **kwargs)
# 返回被装饰函数执行结果
return result
# 返回内函数引用
return inner
前面我们定义的 count_time 装饰器只适用于无参无返回值的函数,如果直接去装饰带参数的函数就会报错,如果装饰带返回值的参数,返回值就会丢失。但是理论上,一个装饰器应该能够装饰任何函数,不管是有没有参数,有没有返回值。要实现这样的效果,我们需就要做一些改进。首先先来看看 inner 函数如何能接受任何函数的参数并传递给被装饰函数。这里就需要用到之前学习过的可变参数了。大家回忆一下可变参数的用法。是不是直接使用 args 就可以接收所有的位置参数,使用 *kwargs 就可以接收所有的关键字参数了。不过接受进来的参数,最主要是传入的被装饰函数可能要用到。所以我们需要把接收的参数传递给被装饰函数,并且还需要保存被装饰函数执行结果。然后在内函数中返回被装饰函数的执行结果。外函数继续返回内函数的引用。这样,我们就可以定义出来一个通用的,可以装饰任意函数的装饰器了。
带参数装饰器
除了普通的装饰器使用方式外,在使用装饰器时,还需要向装饰器传递一些参数,比如测试框架 pytest 实现数据驱动时,可以将测试数据以装饰器参数形式传入,此时,前面定义的做为装饰器的闭包形式就不能满足需求了。
可以在通用装饰器外,再定义一层函数,用来接收装饰器的参数。
实现代码
def decorator_args(vars, datas):
def decorator(func):
def inner(*args, **kwargs):
return func(*args, **kwargs)
return inner
return decorator
data = [(1,2,3),(4,5,6),(7,8,9)]
# 装饰器传参
@decorator_args("a,b,c", data)
def show(a,b,c):
print(a,b,c)
除了普通的装饰器之外,有时候我们还需要给装饰器传递一些参数。比如在测试框架中,我们常常需要传递测试数据。为了实现这一点,我们可以在装饰器外再包一层函数来接收这些参数。这里,我们通过 @decorator_args 给装饰器传递了参数,这样就能支持带参数的装饰器了。这个其实就有点像 pytest 测试框架中参数化的用法了。
装饰器传参原理:
装饰器传参的本质就是链式语法的多次函数调用 @decorator_args("a,b,c", data) 解析
- 先执行
decorator_args("a,b,c", data)部分 - 得到结果
decorator与@结合变成装饰器形式@decorator - 通过结果
@decorator装饰器正常装饰被装饰函数
来解释一下上面代码的传参原理。刚才也说过了,装饰器的本质其实就是多次函数的调用。我们先执行 decorator_args 和小括号结合的部分。这里其实就是调用了 decorator_args 函数。然后得到的结果再和 @ 结合成装饰器的形式 @decorator。得到的这个 @decorator 就可以正常的去装饰被装饰函数了。
使用装饰器传参,实现数据驱动过程(了解)
此过程只用来讲解装饰器形式如何实现数据驱动过程,并没有完整实现。
# 接收装饰器参数的函数
# 参数一:以字符串形式接收被装饰函数的参数列表,需要与被装饰函数参数名保持一致,例:"a,b,c"
# 参数二:以[(),(),()] 形式传入驱动数据。
def decorator_args(vars, datas):
def decorator(func):
# 将字符串参数分割备用
v_keys = vars.split(",")
# 定义保存 [{},{},{}] 形式的数据
new_datas = []
# 遍历数据,取出一组元素数据
for item in datas:
# 定义一个新字典,用来保存 变量名与传入数据组成的字典
d_item = {}
# 使用 zip 函数,同时遍历两个元组,变量名做为key, 元素数据做为value
for k, v in zip(v_keys, item):
# 将 变量名和值对应保存到字典中
d_item[k] = v
# 将组合好的字典追加到新数据中备用
new_datas.append(d_item)
def inner(*args, **kwargs):
return func(*args, **kwargs)
# 遍历新数据,取出元素字典
for item in new_datas:
# 将字典中的数据解包传给内函数
inner(**item)
return inner
return decorator
# 数据驱动数据
data = [(1,2,3),(4,5,6),(7,8,9)]
# 装饰器传参
@decorator_args("a,b,c", data)
def show(a,b,c):
print(a,b,c)
这里给了大家一个简单的使用装饰器形式去实现数据驱动过程,不过这只是一个示例并没有完整实现。大家简单了解一下用法就可以,不要求全部掌握。
总结
- 函数引用
- 闭包
- 装饰器
最后我们来总结一下。这个章节我们主要讲了三个重要的概念。其中函数引用就是函数可以像变量一样被传递和引用。闭包是指内函数可以访问外函数的变量,闭包能够记住外部函数的环境。通过装饰器可以在不修改原函数的情况下,给函数增加额外的功能。希望通过这些讲解,你对闭包和装饰器有了更深入的理解!