我不知道这是否是问的正确地方，但我迫切希望得到答案。
这里的问题不是请求的数量，而是单个请求所花费的时间。对于每个请求，服务器必须查询大约 12 个不同的数据源，并且服务器可能需要长达 6 个小时才能获取数据（让我们离开请求超时，因为这不是服务器直接与客户端通信。这个服务器正在从 kafka 获取消息，然后开始从源获取数据）。我应该想出一个可扩展的解决方案。谁能帮我这个？
问题不止于此：
- 一旦服务器获得数据，他必须推送到 kafka 以使用 spark 进行进一步计算。本部分将使用 Streaming api。
我对任何 web 框架或 python 中的任何扩展解决方案持开放态度。