0

我正在使用 scrapy_splash 来抓取需要 js 来检索正确内容的页面。

当我在没有代理设置的情况下使用 SplashRequest 时一切都很好，但是当我输入代理设置时，javascript 不会呈现，给我 prejavascript html 内容，它没有我需要的数据。

有谁知道如何解决这个问题？我确信代理 ip 没有被列入黑名单。

4

2 回答 2

0

事实证明这是一个缓慢的代理。我必须将等待设置为 10 才能得到结果。谢谢你们的帮助。

于 2017-02-11T11:51:43.017 回答
0

我无法评论，

但简短的回答是因为您使用的代理不允许运行 javascript 代码。

请尝试另一个允许您运行 javascript 代码的代理

于 2017-02-04T16:10:41.340 回答