4

我已按照 Splash 的常见问题解答进行生产设置,我的系统目前如下所示:

  • 1 个带有 6 个并发请求的 Scrapy Container。
  • 1 个 HAProxy 容器,用于对启动容器进行负载平衡
  • 2 个飞溅容器,每个有 3 个插槽。

docker stats用来监控我的设置,我从来没有得到超过 7% 的 CPU 使用率或超过 55% 的内存使用率。

我仍然得到很多

DEBUG: Retrying <GET https://the/url/ via http://haproxy:8050/execute> (failed 1 times): 504 Gateway Time-out

对于每个成功的请求,我都会得到 6-7 个这些超时。

我已经尝试过更改启动容器的插槽和并发请求的数量。我还尝试在 HAProxy 后面使用单个启动容器运行。我不断收到这些错误。

我在具有 1gb 内存的 AWS EC2 t2.micro 实例上运行。

我怀疑这个问题仍然与启动实例被淹没有关。您有什么建议可以减少 Splash 实例的负载吗?插槽和并发请求之间的比例是否良好?我应该限制请求吗?

4

0 回答 0