2

我有一个关于 sanic / asyncpg 性能的问题要问。

在测试期间，不断发生奇怪的事情（也许是设计使然）。

首先让我解释一下测试过程。很简单。

我使用 locust 通过设置最大用户数来尽可能多地推送服务器。

测试脚本是：

from locust import HttpLocust, TaskSet, task, between


class UserActions(TaskSet):
    @task(1)
    def test_point_1(self):
        self.client.get(
            '/json_1',
            headers={'Content-Type': 'application/json'}
        )

    @task(2)
    def test_point_2(self):
        self.client.get(
            '/json_2',
            headers={'Content-Type': 'application/json'}
        )


class ApplicationUser(HttpLocust):
    task_set = UserActions
    wait_time = between(0, 0)

它用于测试以下代码。注意 asyncpg 正在调用 potgresql sleep 函数来模拟负载：

import asyncio
import uvloop
from asyncpg import create_pool
from sanic import Sanic, response
from sanic.log import logger
import aiotask_context as context

app = Sanic(__name__)

DATABASE = {
    'type': 'postgresql',
    'host': '127.0.0.1',
    'user': 'test_user',
    'port': '5432',
    'password': 'test_password',
    'database': 'test_database'
}

conn_uri = '{0}://{1}:{2}@{3}:{4}/{5}'.format(
            'postgres',
            DATABASE['user'], DATABASE['password'], DATABASE['host'],
            DATABASE['port'], DATABASE['database'])


@app.route("/json_1")
async def handler_json_1(request):
    async with request.app.pg.acquire() as connection:
        await connection.fetchrow('SELECT pg_sleep(0.85);')
    return response.json({"foo": "bar"})


@app.route("/json_2")
async def handler_json_2(request):
    async with request.app.pg.acquire() as connection:
        await connection.fetchrow('SELECT pg_sleep(0.2);')
    return response.json({"foo": "bar"})


@app.listener("before_server_start")
async def listener_before_server_start(*args, **kwargs):
    try:

        pg_pool = await create_pool(
            conn_uri, min_size=2, max_size=10,
            server_settings={'application_name': 'test_backend'})
        app.pg = pg_pool

    except Exception as bss_error:
        logger.error('before_server_start_test erred with :{}'.format(bss_error))
        app.pg = None


@app.listener("after_server_start")
async def listener_after_server_start(*args, **kwargs):
    # print("after_server_start")
    pass


@app.listener("before_server_stop")
async def listener_before_server_stop(*args, **kwargs):
    # print("before_server_stop")
    pass


@app.listener("after_server_stop")
async def listener_after_server_stop(*args, **kwargs):
    # print("after_server_stop")
    pass


if __name__ == '__main__':
    asyncio.set_event_loop(uvloop.new_event_loop())
    server = app.create_server(host="0.0.0.0", port=8282, return_asyncio_server=True)
    loop = asyncio.get_event_loop()
    loop.set_task_factory(context.task_factory)
    task = asyncio.ensure_future(server)
    try:
        loop.run_forever()
    except Exception as lerr:
        logger.error('Loop run error: {}'.format(lerr))
        loop.stop()

问题是，在随机时间后，服务器对 cca 变得无响应（不返回 503 或任何其他代码）。60 秒。进程也挂起（我可以看到它ps aux并且 CTRL+C 不能杀死它。）

这可能是有问题的，因为它很难检测到，也很难确定我们可以向服务器发送请求的速率。

这可能是配置（sanic/asyncpg）的问题吗？

设置 nginx/sanic 请求超时是否是规避此问题的唯一选择？

4

1 回答 1

1

您的 aiopg 池限制为 10 个连接。因此，一次最多 10 个请求，每个需要 0.2 秒，您的最大可能负载为 1 秒 / 0.2 秒 * 10 池大小 = 50 RPS。之后，所有传入的请求都将等待连接，并且要服务的请求队列的增长速度将比您的服务能力快得多，并且您的服务器将变得无响应。

于 2020-02-19T14:42:12.953 回答