4

我正在尝试设置scrapy+tor

我正在使用scrapy 0.24.6

  1. 我首先尝试使用polipo能够tor作为 http 代理访问（https://pkmishra.github.io/blog/2013/04/16/scrapy-run-using-tor-and-multiple-agents-part-2- ubuntu/ ) 我可以将我的网络浏览器配置为使用 polipo，我可以使用 TOR 进行浏览，我可以卷曲。我尝试HttpProxyMiddleware使用 env var 或编写自己的自定义中间件，结果相同：scrapy总是返回 403

  2. 然后我尝试tor直接使用，再次我可以将我的网络浏览器配置为使用 socks 代理，我可以 curl torsocks，但scrapy总是返回 403

任何人都知道可能出了什么问题？

看起来错误来自scrapy因为我有完全相同的标头/用户代理有和没有tor，但通过tor我总是得到403

4

0 回答 0