ruby - 800 名工人后 Resque 超时

Question

我有一个繁重的处理需要使用很多机器来完成。目前，Resque 有 700 名员工在运行，一切正常。但是，如果我将工作人员的数量增加到 1000，我会开始收到很多 redis 超时。我几乎可以肯定限制在 redis 中，因为我什至无法从 redis-cli 连接。resque 或 redis 有任何限制吗？或者它可能是一些文件系统限制？

有谁知道这个配置在哪里，所以我可以改变它？

谢谢。

Answer 1

您可能正在达到服务器盒的资源限制。

在 Linux 上，检查：

ulimit -a
sysctl net.ipv4.ip_local_port_range
sysctl net.ipv4.tcp_fin_timeout
sysctl net.core.somaxconn
sysctl net.ipv4.tcp_tw_recycle
sysctl net.ipv4.tcp_tw_reuse
sysctl fs.file-max
sysctl net.ipv4.tcp_window_scaling
sysctl kernel.pid_max
sysctl net.ipv4.tcp_orphan_retries
sysctl net.ipv4.tcp_max_orphans

在 FreeBSD 上，检查：

sysctl kern.ipc.nmbclusters
sysctl kern.ipc.maxsockets
sysctl kern.maxfiles
sysctl kern.maxfilesperproc
sysctl net.inet.tcp.msl
sysctl net.inet.ip.portrange.first
sysctl net.inet.ip.portrange.last

获取有关这些 sysctl 配置的更多信息并根据需要增加。

Answer 2

每个工人都是分叉的，并且根据您机器的其他资源，您可能已经达到了运行 700 到 1000 个工人之间的限制。

我建议监控正在使用的内存量，并检查是否按照上面@Andrew Marshall 的建议设置了 maxclients