python - webkit爬虫需要使用squid代理吗？

Question

我正在使用 webkit 编写爬虫，webkit 缓存东西吗？我是否需要使用 squid 作为基于 webkit 的爬虫的代理？

Answer 1

你在用QWebKit吗？PyQt/PySide 默认不使用磁盘缓存。您必须设置一个QNetworkDiskCache对象QNetworkManager以启用缓存。

查看webscrapingwebkit.py库中模块的源代码，它展示了如何在 QWebkit 中启用缓存。