pymysql的连接池实现

2023-05-15,,

在使用pymysql作为MySQL驱动时,在多线程模型下,如果我们没有为每个线程创建一个单独的连接的话,就会遇到下列错误

pymysql.err.InternalError: Packet sequence number wrong - got 0 expected 1

这是因为pymysql的threadsafety级别为 1: Threads may share the module, but not connections.

但是为每个线程创建单独的连接的话,如果任务量比较大同时使用线程池的场景下,会造成client和MySQL server之间的频繁“连接-登录-退出”,这显然是不优雅的。所以我们需要一个“连接池”,以达到client和MySQL之间只需维持较少的连接,即可完成任务的效果。

笔者实现了一个基于pymysql的连接池模块pymysql_pool,包含两个类

  • pymysql_pool.Connection类,继承自pymysql.connections.Connection类,在保证使用方法一致的前提下,增加了对连接池的维护

  • pymysql_pool.ConnectionPool类,代表连接池,其中包含指定数目的pymysql_pool.Connection对象。这里的pymysql_pool.Connection对象相比pymysql.connections.Connection对象,增加了一个属性来标明该连接所属的连接池,也正是通过该属性来区分一个普通连接和一个池中的连接,进而对连接对象的close()方法和Context Manager Protocol进行不同的处理

项目详情请移步github

《pymysql的连接池实现.doc》

下载本文的Word格式文档,以方便收藏与打印。