2

我们目前正在使用 Flask RQ 和 Flask SQLAlchemy 并遇到一些性能问题。这是我们的高级架构：

  1. API端点被命中
  2. 耗时的任务排队进入 RQ
  3. RQ worker fork 一个新进程来执行工作
  4. 该作业通常包括通过 Flask SQLAlchemy 进行的数据库查询 + 附加处理

在使用 cProfile 查看 (4) 的性能时，我看到

1       5.7e-05     5.7e-05     4.064   4.064   __init__.py:496(__get__)
535/1   0.002901    0.002901    3.914   3.914 base.py:389(_inspect_mapped_class)
1       0.001281    0.001281    3.914   3.914   mapper.py:2782(configure_mappers)
462/1   0.000916    0.000916    3.914   3.914   base.py:404(class_mapper)
1       1.4e-05     1.4e-05     3.914   3.914   mapper.py:1218(_configure_all)
59      0.01247     0.0002113   3.895   0.06601 mapper.py:1750(_post_configure_properties)
985/907 0.01748     1.927e-05   3.29    0.003627    interfaces.py:176(init)
235/157 0.00914     5.822e-05   3.162   0.02014 relationships.py:1650(do_init)
...

和

在此处输入图像描述

我看到很多时间都花在 SQLAlchemy 上。我假设这是将 SQL 数据映射到 ORM 对象的一些开销。所以，我有两个问题：

  1. 初始化 SQL-ORM 映射所花费的时间是预期的吗？我在 AWS xlarge 实例上以 70% 的 CPU 运行。lazy='dynamic'根据 pg_stat_statements，我所有的关系都是使用动态加载的，相应的查询需要 < 10 毫秒。
  2. 假设没有办法解决（1），另一种避免持续开销的方法是有一个这样的队列。因此，不是为每个作业派生一个新进程，而是直接在线程中运行该作业。这对于分布式系统是否可取？我找不到这样做的框架，所以也许这不是一个好主意？

最后一点，如果我很愚蠢并且没有看到明显的解决方案，请告诉我！

4

1 回答 1

4

configure_mappers通常在应用程序的生命周期内只调用一次。它设置了一些内部簿记以使您的模型可用。您应该避免为每个分叉的进程运行它。为此，请在分叉之前在父进程中手动调用一次：

from sqlalchemy.orm import configure_mappers

configure_mappers()
于 2018-06-12T18:26:02.373 回答