1

我们有一个小型网络抓取工具,可以很好地完成我们的任务。然而,前段时间我们遇到了一个抓取一些硬 ajax 网站的问题。有没有办法将 Selenium(或裸 PhantomJS)变成 HTTP 或 socks 代理?因此该解决方案将在某个端口上运行,我们只需在我们的爬虫中设置代理设置,将它们指向该解决方案。我知道我们可以模拟浏览器的操作,但是重写爬虫需要太多时间。

谢谢!

4

0 回答 0