Django实现MySQL连接池

注:笔者的Django版本为 1.9,Python版本为 2.7

一直想在Django中实现MySQL连接池,在网上寻找良久无果,偶然之间,看到了一个帖子"让Django支持数据库长连接(可以提高不少性能哦)",受到启发,既然可以实现长连接,那么也可以实现连接池了,动手!
  原理与链接帖子是一样的,只是将数据库的连接实例改为连接池的连接实例。连接池使用DBUtils实现,但在Django中,需要对DBUtils进行一点小改动。
  一部分内容是与链接帖子一样的,在此为了完整性,只做一次搬运工。
  第一步,对DBUtils动个小手术。
  DBUtils是一个实现数据库连接池的库,支持DB-API 2接口规范,点击下载。解压下载后的压缩包,将其中的DBUtils目录加入应用程序目录中,笔者将其放在应用程序根目录"database"中,Docs、Examples、Tests这3个目录可以删除,修改SteadyDB.py文件,在类 SteadyDBConnection 中添加3个成员方法,如下:

def autocommit(self, *args, **kwargs):
     self._con.autocommit(*args, **kwargs)

def get_server_info(self):
    return self._con.get_server_info()

@property
def encoders(self):
    return self._con.encoders

修改 PooledDB.py 和 PersistentDB.py 两个文件,将

from DBUtils.SteadyDB import connect

改为

from .SteadyDB import connect

第二步,"狸猫换太子"。
  将Django中的mysql模块加入应用程序目录中,笔者将Django安装在虚拟环境中,位置是 Django虚拟环境路径/lib/python2.7/site-packages/django/db/backends,将backends目录下的 __init__.py文件和mysql目录复制到database目录下的db目录中,目录结构如下:

应用程序根目录
|
| -- database
     |
     | -- DBUtils
     | -- db
          |
          | -- __init__.py
          | -- mysql

在mysql目录下添加pool.py文件,如下:

# coding:utf-8
'''A connection pool of MySQL in Django 1.5 based on DBUtils.'''
import MySQLdb
from database.DBUtils.PooledDB import PooledDB

class ConnectionWrapper(object):
    def __init__(self, connection):
        self._conn = connection

    def __getattr__(self, method):
        ''' 代理数据库连接的属性方法 '''
        return getattr(self._conn, method)

    def close(self):
        ''' 代理Django的关闭数据库连接 '''
        self._conn.close()

class DBWrapper(object):
    def __init__(self, module):
        self._connection = None
        self._db = module
        self._pool = {}

    def __getattr__(self, item):
        return getattr(self._db, item)

    def _clear_connections(self, **kwargs):
        ''' 关闭已有连接 '''
        conn = MySQLdb.connect(**kwargs)
        cursor = conn.cursor()
        sql = ''
        cursor.execute('show full processlist;')
        processlist = cursor.fetchall()
        for th in processlist:
            if th[3] == kwargs.get('db') and th[0] != conn.thread_id():
                sql += 'kill %s;' % th[0]
        if len(sql.split(';')) > 1:
            cursor.execute(sql)
        cursor.close()
        conn.close()

    def connect(self, *args, **kwargs):
        ''' 创建连接 '''
        db = kwargs.get('db')
        if db not in self._pool:
            size = kwargs.get('size')
            if 'size' in kwargs:
                kwargs.pop('size')
            self._clear_connections(**kwargs)
            self._pool[db] = PooledDB(self._db, mincached=size, maxcached=size, *args, **kwargs)
        self._connection = self._pool[db].connection()
        return ConnectionWrapper(self._connection)

修改mysql目录下的 base.py 文件,在

import MySQLdb as Database

下添加两行

from .pool import DBWrapper
Database = DBWrapper(Database)

修改类 DatabaseWrapper 中的方法 get_connection_params,在

if settings_dict['PORT']:
    kwargs['port'] = int(settings_dict['PORT'])

下添加如下代码,使连接池支持"SIZE"参数

if settings_dict.get('SIZE'):
    kwargs['size'] = int(settings_dict['SIZE'])

在settings.py配置文件的数据库项中,可以通过配置"SIZE"参数来指定连接池中某数据库的连接数量,如:

DATABASES = {
    'default': {
        # 'ENGINE': 'django.db.backends.mysql',
        'ENGINE': 'database.db.mysql',
        'NAME': 'cartoon',
        'USER': 'root',
        'PASSWORD': 'root',
        'HOST': '',
        'PORT': '',
        # 指定10个连接到cartoon库
        'SIZE': '10',     # Default '0' means unlimit connection pool size
        'OPTIONS': {
            'init_command': 'SET default_storage_engine=INNODB',
        },
    }
}

至此,连接池改造完成。
运行程序,进入mysql命令行,执行

show full processlist;

可以看到已有10个cartoon库的连接

Paste_Image.png
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,717评论 6 496
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,501评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,311评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,417评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,500评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,538评论 1 293
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,557评论 3 414
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,310评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,759评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,065评论 2 330
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,233评论 1 343
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,909评论 5 338
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,548评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,172评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,420评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,103评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,098评论 2 352

推荐阅读更多精彩内容