php - PHPCrawl 有时会空手返回

Question

我正在使用PHPCrawl类来蜘蛛网站并构建链接列表。这一切都很好，如果缓慢的话，然后我会使用这些链接来执行其他任务。

我遇到了一个问题，我第一次运行脚本时它没有结果完成，然后下次运行它时它按预期工作。大约 30% 的时间都失败了。

起初我以为这是网络或工作站问题，但同样的问题发生在使用不同 ISP 的不同位置的不同机器上。

有没有其他人使用过这个类并遇到同样的问题？

Answer 1

经过大量测试，我发现它似乎与 streamTimeout 设置有关。

这里的问题是，将其设置得太高会导致爬网速度非常慢。修补 connectionTimeout 似乎可以解决这个问题。