php - php 网络爬虫中断，超时？

Question

我正在编写一个 PHP Web 应用程序来对多个（实际上是一长串）Facebook 页面进行统计。我将爬虫设置为每天从 Facebook 获取所有页面的数据，因此数据始终在本地数据库中更新。

问题是，有时爬虫会意外中断。我猜测的原因是：1）用完服务器的时间限制2）等待太长时间没有任何响应的数据并被杀死

您对解决这个问题有什么建议吗？非常感谢！！

Answer 1

您应该从增加 php.ini 中的 max_execution_time 变量开始。看看能不能解决你的问题。如果问题出在 Facebook 或您无法控制的任何其他网络服务器上，那么您无能为力。

*免责声明：这一切都假设您的代码是有效的，并且有时不会发现自己处于无限循环中......

Answer 2

尝试添加

set_time_limit (0);

在脚本的开头。