我已按照 Splash 的常见问题解答进行生产设置,我的系统目前如下所示:
- 1 个带有 6 个并发请求的 Scrapy Container。
- 1 个 HAProxy 容器,用于对启动容器进行负载平衡
- 2 个飞溅容器,每个有 3 个插槽。
我docker stats
用来监控我的设置,我从来没有得到超过 7% 的 CPU 使用率或超过 55% 的内存使用率。
我仍然得到很多
DEBUG: Retrying <GET https://the/url/ via http://haproxy:8050/execute> (failed 1 times): 504 Gateway Time-out
对于每个成功的请求,我都会得到 6-7 个这些超时。
我已经尝试过更改启动容器的插槽和并发请求的数量。我还尝试在 HAProxy 后面使用单个启动容器运行。我不断收到这些错误。
我在具有 1gb 内存的 AWS EC2 t2.micro 实例上运行。
我怀疑这个问题仍然与启动实例被淹没有关。您有什么建议可以减少 Splash 实例的负载吗?插槽和并发请求之间的比例是否良好?我应该限制请求吗?