我需要编写一个 cron (php) 脚本来从多个网站获取 html 结果。
假设我的数据库有 50 个网站记录(即http://www.somewebsite.com/page.php)。因此,cron 作业将设置为每 x 分钟运行一次。当它运行时,它将从数据库中加载记录,检查每个网站的状态,然后从中获取 HTML 结果,然后对其进行分析。
我担心的是,如果第n条记录的网站没有响应,或者加载需要一些时间(即海外网站),那么n+1的记录将不会运行,直到第n条记录完成,那么这个 cron 工作需要一段时间才能完成。
如果我在浏览器上执行脚本,那么可以通过使用 ajax async 轻松处理它,但它是一个 cron 作业,所以我不知道如何处理这种情况。