22

我似乎无法让我的 Flask 应用程序关闭或重用数据库连接。我正在使用 PostgreSQL 9.1.3 和

Flask==0.8
Flask-SQLAlchemy==0.16
psycopg2==2.4.5

当我的测试套件运行时，打开的连接数一直在攀升，直到达到 20（中的max_connections设置postgresql.conf），然后我看到：

OperationalError: (OperationalError) FATAL:  sorry, too many clients already
 None None

create_all我已经将代码减少到它只是调用和drop_all（但没有发出任何 sql，因为没有模型）的地步。

我在日志中看到正在签入和签出的连接：

DEBUG:sqlalchemy.pool.QueuePool:Connection <connection object at 0x101c1dff0; dsn: 'dbname=cx_test host=localhost', closed: 0> checked out from pool
DEBUG:sqlalchemy.pool.QueuePool:Connection <connection object at 0x101c1dff0; dsn: 'dbname=cx_test host=localhost', closed: 0> being returned to pool
WARNING:root:impl   <-------- That's the test running
DEBUG:sqlalchemy.pool.QueuePool:Connection <connection object at 0x101c1dff0; dsn: 'dbname=cx_test host=localhost', closed: 0> checked out from pool
DEBUG:sqlalchemy.pool.QueuePool:Connection <connection object at 0x101c1dff0; dsn: 'dbname=cx_test host=localhost', closed: 0> being returned to pool

对于每个测试运行，连接的地址（“xyz 处的连接对象”部分）是不同的。我怀疑这与问题有关，但我不确定如何进一步调查。

下面的代码在新的 venv 中重现了该问题：

from flask import Flask
from flask.ext.sqlalchemy import SQLAlchemy
from unittest import TestCase

import logging
logging.basicConfig(level=logging.DEBUG)
logging.getLogger('sqlalchemy.pool').setLevel(logging.DEBUG)
logging.getLogger('sqlalchemy.engine').setLevel(logging.DEBUG)
logging.getLogger('sqlalchemy.dialects').setLevel(logging.DEBUG)
logging.getLogger('sqlalchemy.orm').setLevel(logging.DEBUG)


db = SQLAlchemy()

def create_app(config=None):
    app = Flask(__name__)
    app.config.from_object(config)
    db.init_app(app)
    return app


class AppTestCase(TestCase):
    SQLALCHEMY_DATABASE_URI = "postgresql://localhost/cx_test"
    TESTING = True

    def create_app(self):
        return create_app(self)

    def setUp(self):
        self.app = self.create_app()
        self.client = self.app.test_client()
        self._ctx = self.app.test_request_context()
        self._ctx.push()
        db.create_all()

    def tearDown(self):
        db.session.remove()
        db.drop_all()
        self._ctx.pop()


class TestModel(AppTestCase):
    def impl(self):
        logging.warn("impl")
        pass

    def test_01(self):
        self.impl()

    def test_02(self):
        self.impl()

    def test_03(self):
        self.impl()

    def test_04(self):
        self.impl()

    def test_05(self):
        self.impl()

    def test_06(self):
        self.impl()

    def test_07(self):
        self.impl()

    def test_08(self):
        self.impl()

    def test_09(self):
        self.impl()

    def test_10(self):
        self.impl()

    def test_11(self):
        self.impl()

    def test_12(self):
        self.impl()

    def test_13(self):
        self.impl()

    def test_14(self):
        self.impl()

    def test_15(self):
        self.impl()

    def test_16(self):
        self.impl()

    def test_17(self):
        self.impl()

    def test_18(self):
        self.impl()

    def test_19(self):
        self.impl()



if __name__ == "__main__":
    import unittest
    unittest.main()

这是我第一次在 Flask 中使用应用工厂，我部分地从Flask-SQLAlchemy 文档中复制了这段代码。Elseware那些文档提到在错误的上下文中使用 db 会导致连接泄漏 - 也许我做的 init 不正确？

4

4 回答 4

11

在阅读了 SQLAlchemy 文档并摆弄了一些数据库实例之后，我终于得到了解决方案。添加db.get_engine(self.app).dispose()，tearDown()使其看起来像：

def tearDown(self):
    db.session.remove()
    db.drop_all()
    db.get_engine(self.app).dispose()
    self._ctx.pop()
于 2013-08-01T15:36:22.957 回答
9

自从大约一年前提出这些问题以来，我认为 OP 一定已经解决了他的问题。但是对于那些徘徊到这里（像我一样）试图弄清楚发生了什么的人来说，这是我最好的解释：

正如范所说，问题确实在于测试用例调用setUp和tearDown每个测试。虽然连接并没有完全从 SQLAlchemy 泄漏，而是因为每个测试都有自己的setUp，所以创建了应用程序的多个实例：每个应用程序都有自己的数据库连接池，大概不会被重用或回收测试结束。

换句话说，连接正在被检出并正确返回到池中，但该连接随后作为空闲连接继续存在，以供同一应用程序中的未来事务使用（连接池点）。

在上面的测试用例中，创建了大约 20 个连接池（每个都有空闲连接，因为 create/drop_all）并占用了 postgres 连接限制。

于 2013-05-06T00:48:46.573 回答
2

编辑：SQLALCHEMY_COMMIT_ON_TEARDOWN 在 Flask-SQLAlchemy 版本 2.4.3 中已弃用。您可以在此处查看更改说明，他们建议.commit()您自行致电：

https://flask-sqlalchemy.palletsprojects.com/en/2.x/changelog/?highlight=sqlalchemy_commit_on_teardown#version-2-4-3

如果响应状态代码 < 400，我要做的是注册我自己的app.after_request调用.commit()。这需要您正确构建应用程序以确保响应状态代码 < 400 的 HTTP 事务应该提交到数据库，但我认为这是一个很好的设计原则。

----下面的旧答案----

在最新版本的 Flask-SQLAlchemy 中，session.remove()会自动调用app.after_request.

另外，请参阅SQLALCHEMY_COMMIT_ON_TEARDOWN此处的设置：

https://pythonhosted.org/Flask-SQLAlchemy/config.html?highlight=sqlalchemy_commit_on_teardown

这也将自动提交事务。

于 2015-03-16T00:32:17.087 回答
0

你知道setUp and tearDown在 every 之前和之后都会调用test method。从您的代码看来，您需要它们以确保空数据库。
但是，也有setUpClass and tearDownClass, 每个测试类调用一次。
我相信您可以拆分您当前拥有的代码并将db-connection相关部分移动到 -Class级别，同时将test-method相关部分保留在需要的位置。

于 2012-05-17T16:12:16.067 回答