gearman - 如何让多个齿轮工人从事单一工作

Question

我正在使用 perl gearman client 和 worker 处理 10 万个 url。

我需要您的帮助才能在多个 worker 中运行单个作业。（即，如果我有 5 个工人和 1 个客户，我希望所有这 5 个工人做一个客户的工作），目前我正在运行 20 个客户和 30 个工人，但只有 20 个工人在运行工作平衡 10 个工人空闲。

提前致谢

Answer 1

您可以创建一个管理工作并协调其他工作人员的经理。

Answer 2

您需要的方法称为扇出，但 gearman 无法做到这一点。你必须像消息队列一样使用rabbitmq。它可以通过扇出交换向不同的工作人员发送相同的消息。

Answer 3

Gearman 工人抓住一份工作，并将其作为执行单元。如果您想在多个工人上运行一项作业，您可能应该将您的作业分成几个子作业。