Werkzeug库——local模块

一、简介

local模块中,Werkzeug实现了类似Python标准库中thread.local的功能。thread.local是线程局部变量,也就是每个线程的私有变量,具有线程隔离性,可以通过线程安全的方式获取或者改变线程中的变量。参照thread.local,Werkzeug实现了比thread.local更多的功能。Werkzeug官方文档关于local模块中对此进行了说明:

The Python standard library comes with a utility called “thread locals”. A thread local is a global object in which you can put stuff in and get back later in a thread-safe way. That means whenever you set or get an object on a thread local object, the thread local object checks in which thread you are and retrieves the correct value.

This, however, has a few disadvantages. For example, besides threads there are other ways to handle concurrency in Python. A very popular approach is greenlets. Also, whether every request gets its own thread is not guaranteed in WSGI. It could be that a request is reusing a thread from before, and hence data is left in the thread local object.

总结起来: 以上文档解释了对于“并发”问题,多线程并不是唯一的方式,在Python中还有“协程”(关于协程的概念和用法可以参考:廖雪峰的博客)。“协程”的一个显著特点在于是一个线程执行,一个线程可以存在多个协程。也可以理解为:协程会复用线程。对于WSGI应用来说,如果每一个线程处理一个请求,那么thread.local完全可以处理,但是如果每一个协程处理一个请求,那么一个线程中就存在多个请求,用thread.local变量处理起来会造成多个请求间数据的相互干扰。

对于上面问题,Werkzeug库解决的办法是local模块。local模块实现了四个类:

  • Local
  • LocalStack
  • LocalProxy
  • LocalManager

本文重点介绍前两个类的实现。

二、Local类

Local类能够用来存储线程的私有变量。在功能上这个thread.local类似。与之不同的是,Local类支持Python的协程。在Werkzeug库的local模块中,Local类实现了一种数据结构,用来保存线程的私有变量,对于其具体形式,可以参考它的构造函数:

从上面类定义可以看出,Local类具有两个属性:__storage____ident_func__。从构造函数来看,__storage__是一个字典,而__ident_func__是一个函数,用来识别当前线程或协程。

1. __ident_func__

关于当前线程或协程的识别,local模块引入get_ident函数。如果支持协程,则从greenlet库中导入相关函数,否则从thread库中导入相关函数。调用get_ident将返回一个整数,这个整数可以确定当前线程或者协程。

2. __storage__

__storage__是一个字典,用来存储不同的线程/协程,以及这些线程/协程中的变量。以下是一个简单的多线程的例子,用来说明__storage__的具体结构。

上面的例子,具体分析为:

  • 首先,代码创建了一个Local的实例l,并且访问它的__storage__属性。由于目前还没有数据,所以l.__storage__的结果为{};
  • 代码创建了3个线程,每个线程均运行add_arg(arg, i)函数。这个函数会为每个线程创建一个变量,并对其赋值;
  • 最后,再次访问l.__storage__。这次,l实例中将包含3个线程的信息。其结果为:

从以上结果可以看出,__storage__这个字典的键表示不同的线程(通过get_ident函数获得线程标识数值),而值表示对应线程中的变量。这种结构将不同的线程分离开来。当某个线程要访问该线程的变量时,便可以通过get_ident函数获得线程标识数值,进而可以在字典中获得该键对应的值信息了。

三、LocalStack类

LocalStack类和Local类类似,但是它实现了栈数据结构。

LocalStack类初始化的时候,便会创建一个Local实例,这个实例用于存储线程/协程的变量。与此同时,LocalStack类还实现了pushpoptop等方法或属性。调用这些属性或者方法时,该类会根据当前线程或协程的标识数值,在Local实例中对相应的数值进行操作。以下还是以一个多线程的例子进行说明:

 

以上例子的具体分析过程如下:

  • 首先,先创建一个LocalStack实例_stack,这个实例将存储线程/协程的变量信息;
  • 在程序开始运行时,先检查_stack中包含的信息;
  • 之后创建两个线程,分别执行worker函数;
  • worker函数首先会产生一个上下文对象,这个上下文对象会放入_stack中。在这个上下文环境中,程序执行一些操作,打印一些数据。当退出上下文环境时,_stack会pop该上下文对象。
  • 在程序结束时,再次检查_stack中包含的信息。

运行上面的测试例子,产生结果如下:

注意到:

  • 当两个线程在运行时,_stack中会存储这两个线程的信息,每个线程的信息都保存在类似{'stack': [a1, b1, c1]}的结构中(注:stack键对应的是放入该栈中的对象,此处为了方便打印了该对象的一些属性)。
  • 当线程在休眠和运行中切换时,通过线程的标识数值进行区分不同线程,线程1运行时它通过标识数值只会对属于该线程的数值进行操作,而不会和线程2的数值混淆,这样便起到线程隔离的效果(而不是通过锁的方式)。
  • 由于是在一个上下文环境中运行,当线程执行完毕时,_stack会将该线程存储的信息删除掉。在上面的运行结果中可以看出,当线程2运行结束后,_stack中只包含线程1的相关信息。当所有线程都运行结束,_stack的最终状态将为空。
1 2 收藏 评论

相关文章

可能感兴趣的话题



直接登录
跳到底部
返回顶部