嗨,我正在尝试抓取一个网站,特别是 www.cvedetails.com 和所有 CVE,在大约 600 个 CVE 之后,我收到了这个错误:
Maximum execution time of 30 seconds exceeded in phar:///root/PHP/VULDRONE/goutte.phar/vendor/symfony/dom-crawler/Symfony/Component/DomCrawler/Crawler.php on line 173
我已将max_execution_time
值更改php.ini
为 900 秒,但显然它不能正常工作。
我也在 X 请求后使用睡眠但没有成功,尝试更改用户代理和相同。
我不知道我不能做些什么来阻止爬行。
先感谢您