12

最近我一直在研究 Beanstalkd 与 PHP 的使用。我学到了很多，但对服务器上的设置等有一些疑问。

这是我看到它的工作方式：

  1. 我在我的 Ubuntu 服务器上安装了 Beanstalkd 和任何依赖项（例如 libevent）。然后我启动 Beanstalkd 守护程序（基本上应该一直运行）。
  2. 在我网站的某处（例如当用户执行某些操作时等）任务被添加到 Beanstalkd 队列中的各种管中。

  3. 我有一个 bash 脚本（例如下面的脚本），它作为一个基本上执行 PHP 脚本的守护进程运行。

    #!/bin/sh
php worker.php

4) 工作脚本将有这样的东西来执行排队的任务：

while(1) {
  $job = $this->pheanstalk->watch('test')->ignore('default')->reserve();
  $job_encoded = json_decode($job->getData(), false);
  $done_jobs[] = $job_encoded;
  $this->log('job:'.print_r($job_encoded, 1));
  $this->pheanstalk->delete($job);
}

现在这是我基于上述设置的问题（如果我错了，请纠正我）：

  1. 假设我有将 RSS 提要导入数据库或其他东西的任务。如果 10 个用户同时这样做，他们都会在“测试”管中排队。然而，他们一次只能被处决一个。让 10 个不同的管子同时执行会更好吗？

  2. 如果我确实需要更多管子，那是否也意味着我需要 10 个工作脚本？除了 watch() 函数中的字符串文字外，每个管子都使用基本相同的代码同时运行。

  3. 如果我将该脚本作为守护进程运行，它是如何工作的？它会不断执行worker.php 脚本吗？该脚本循环直到理论上队列为空，所以它不应该只启动一次吗？守护进程如何决定多久执行一次worker.php？这只是一个设定吗？

谢谢！

4

1 回答 1

5
  1. 如果工人没有花太长时间来获取饲料，那就没问题了。如果需要一次处理多个工作人员，您可以运行多个工作人员。我有一个系统（目前使用 Amazon SQS，但我之前使用 BeanstalkD 做过类似的事情），最多有 200 个（或更多）工作人员从队列中拉出。
  2. 单个工作脚本（同一个脚本运行多次）应该没问题 - 该脚本可以同时观看多个管，并且将保留第一个可用的。您还可以使用该job-stat命令来查看特定 $job 来自哪里（哪个管），或者如果您需要将每种类型与另一种类型区分开来，则将一些元信息放入消息中。
  3. 这里描述了一个运行工作者的好例子。我还添加了supervisord（也是一篇有用的入门文章），以轻松启动并继续在每台机器上运行多个 worker（我运行 shell 脚本，如第一个链接中所示）。我会限制它循环的次数，并在其中输入一个数字reserve()让它等待几秒钟或更长时间，以便下一个工作变得可用，而不会在一个不会暂停的紧密循环中失去控制全部——即使无事可做。

附录：

  1. shell 脚本将根据您的需要运行多次。（链接显示如何根据需要重新运行它exec $@）。每当 php 脚本退出时，它都会重新运行 PHP。
  2. 显然有一个 Djanjo 应用程序可以显示一些统计信息，但连接到守护程序、获取管道列表，然后获取每个管道的统计信息 - 或者只是计数，这已经足够简单了。
于 2011-10-11T21:20:12.547 回答