我正在使用Goutte v2.0.4,它是Symfony2 DomCrawler的包装器。我有本地存储的html文件。其中一些低于 10MB;我已经成功爬取了这些文件。
其他文件大于30MB。这些没有被抓取。这可能是文件大小问题。所有文件都有类似的格式。那么有什么问题呢?如何抓取大文件?
我正在使用Goutte v2.0.4,它是Symfony2 DomCrawler的包装器。我有本地存储的html文件。其中一些低于 10MB;我已经成功爬取了这些文件。
其他文件大于30MB。这些没有被抓取。这可能是文件大小问题。所有文件都有类似的格式。那么有什么问题呢?如何抓取大文件?