php - 设置多个 Cronjob 以更新数据库

Question

目前正在从MLS中提取数据并插入 DB（使用 LAMP）。插入所有内容后，我想设置一个 Cronjob 以每 2 小时检查一次 MLS 中的增量更新。所以在不久的将来，我想完成超过 500 个 MLS，从而一次运行 500 个 Cron。

一次设置超过 500 个用 PHP 编写的 cron 脚本有什么挑战吗？

Shell脚本可以吗？

有没有替代的解决方案？

谢谢

Answer 1

除非您拥有大型服务器，否则您可能会在尝试通过 cron 一次更新 500 个 MLS 源时遇到一些资源限制。

相反，您应该查看维护队列的作业服务器，然后定义n工作人员的数量以从队列中获取顶部项目并开始处理。一旦 MLS 完成，该工人就可以自由地进行另一个 MLS。根据可用的资源/服务器，您可以调整可以通过工作人员运行的并行更新数量

查看类似http://gearman.org/或http://resquework.org/

几乎所有替代方案都可以在这里找到：http: //queues.io/