33

我正在使用 CakePHP 构建一个网站，该网站处理通过 XML-RPC API 和 Web 前端上传的文件。文件需要被 ClamAV 扫描，需要生成缩略图等等。所有需要一些时间的资源密集型工作，用户不必等待。所以，我正在研究一般的 PHP 异步处理，特别是 CakePHP。

我遇到了看起来很有前途的 CakePHP的MultiTask 插件。我还遇到了各种消息队列实现，例如dropr和beanstalkd。当然，我还需要某种后台进程，可能使用某种 Cake Shell 来实现。我看到 MultiTask 使用PHP_Fork来实现一个多线程的 PHP 守护进程。

我需要一些关于如何以最佳方式将所有这些部分组合在一起的建议。

  • 用 PHP 编写一个长期运行的守护进程是个好主意吗？我应该注意什么？
  • 外部消息队列实现的优势是什么？MultiTask 插件不使用外部消息队列。它使用 MySQL 表来存储任务。
  • 我应该使用什么消息队列？滴管？豆茎？还有什么？
  • 我应该如何实现后端处理器？分叉 PHP 守护进程是个好主意还是只是自找麻烦？

我目前的计划是使用 MultiTask 插件或编辑它以使用 beanstald 而不是它自己的 MySQL 表实现。队列中的作业可以简单地由一个任务名称和一组参数组成。PHP 守护进程将监视传入的作业并将它们传递给它的一个子线程。将简单地使用给定的参数执行 CakePHP 任务。

对此有任何意见、建议、评论、陷阱或火焰吗？

4

4 回答 4

25

我使用BeanstalkD和一个用 PHP 编写的后端来检索作业然后对它们采取行动取得了很好的效果。我将实际运行的作业包装在一个 bash 脚本中，即使它退出也能继续运行（除非我做一个' exit(UNIQNUM);'，当脚本检查它并实际退出时）。这样，重新启动的 PHP 脚本会清除所有可能已使用的内存，并且可以在每运行 25/50/100 个作业时重新启动。

使用它的几个优点是您可以在 BeanstalkD 作业中设置优先级和延迟 - “以较低的优先级运行它，但不要在 10 秒内开始”。我还曾在某个时间将许多作业排队（现在运行，5 秒后运行，30 秒后再次运行）。

通过适当的网络配置（并在网络其余部分可访问的 IP 地址上运行它），您还可以在一台服务器上运行 beanstalkd 守护程序，并从许多其他机器轮询它，所以如果有一个大生成的任务数量，可以在服务器之间拆分工作。如果需要在特定机器上运行一组特定的任务，我创建了一个“管”，它是该机器的主机名，如果不是全局的，它在我们的集群中应该是唯一的（对于文件上传很有用）。我发现它非常适合调整图像大小，通常在引用它的网页本身引用它将到达的 URL 之前将完成的较小图像返回到文件系统。

实际上，我即将开始为我的博客写一系列关于这个主题的文章（包括一些我已经推送了数百万个实时请求的代码技术）——我的 URL 链接自我的用户个人资料，位于 Stackoverflow .

（我写了一系列关于 Beanstalkd 和工作排队的文章）

于 2009-06-02T16:22:23.580 回答
4

如果您使用像 beanstalkd 这样的消息队列，您可以启动任意数量的进程（即使在同一台服务器上）。每个工作进程将从队列中取出一项作业并进行处理。如果您需要更多容量，您可以添加更多工作人员和更多服务器。

使用单线程工作者的好处是您不必处理进程内的同步。作业队列将确保没有作业会被处理两次。

于 2009-05-26T10:29:03.510 回答
0

是否也值得检查一下与 EC2 结合使用的Amazon SQS ？

于 2009-05-26T19:48:50.900 回答
0

盖尔曼呢？对 php 的良好支持和集成以及并行任务、缩放、监控等功能......

于 2015-09-12T13:48:25.467 回答