0

我已经使用异步实现了所有路由。并遵循 FastAPI 文档中的所有指南。

每条路由都有多个数据库调用，没有异步支持，所以它们是这样的正常功能

def db_fetch(query):
    # I take a few seconds to respond
    return

为了避免阻塞我的事件循环，我使用fastapi.concurrancy.run_in_threadpool

现在的问题是，当大量请求到来时，我的新请求被阻止了。即使我关闭浏览器选项卡（取消请求），整个应用程序也会卡住，直到旧请求得到处理。

我在这里做错了什么？

我uvicorn用作我的 ASGI 服务器。我在具有 2 个副本的 Kubernetes 集群中运行。

很少有人怀疑：我是否产生了太多线程？它是 uvicron 中的一些错误吗？不太确定！

4

1 回答 1

1

正如您所说的线程过多的问题。在引擎盖下，fastapi 使用了 starlette，而后者又使用了 anyio 的to_thread.run_sync。如此处所述，线程过多可能会导致问题，您可以使用信号量来屏蔽它们，以设置创建的最大线程数的上限。在代码中，读起来大致像

# Core Library
from typing import TypeVar, Callable
from typing_extensions import ParamSpec
# Third party
from anyio import Semaphore
from starlette.concurrency import run_in_threadpool

# To not have too many threads running (which could happen on too many concurrent
# requests, we limit it with a semaphore.
MAX_CONCURRENT_THREADS = 10
MAX_THREADS_GUARD = Semaphore(MAX_CONCURRENT_THREADS)
T = TypeVar("T")
P = ParamSpec("P")


async def run_async(func: Callable[P, T], *args: P.args, **kwargs: P.kwargs) -> T:
    async with MAX_THREADS_GUARD:
        return await run_in_threadpool(func, args, kwargs)
于 2022-01-31T16:09:57.977 回答