问题标签 [polipo]

我已成功使用此链接使用 Tor 运行 Scrapy：http: //pkmishra.github.io/blog/2013/03/18/how-to-run-scrapy-with-TOR-and-multiple-browser-agents-第 1 部分-mac/

但我无法使用 Tor 运行 Splash。

在 Scrapy-settings.py 中，我针对 http_proxy（8123 是 polipo 端口）指向 polipo：

在 polipo.config 中，我指向 tor（9150 是 tor 端口）：

非常适合scrapy。在飞溅中它不起作用。但我不得不说 splash 或 docker 来使用 polipo 为 http_proxy 就像在 scrapy-settings.py 中一样。Docker 应该以某种方式使用 polipo，而 polipo 将直接指向 tor。我怎样才能做到这一点？

我跑飞溅：

在 etc/default/docker 中，我尝试使用 docker 直接指向 polipo：

但我无法成功。我究竟做错了什么？谢谢 ：）

我的 ssserver 由 docker image oddrationale/docker-shadowsocks 启动：

然后我使用sslocal命令获取本地代理。

/etc/shadowsocks.json是这样的：

我polipo用来将shadowsocks转换为http代理，我/etc/polipo/config的是：

我编辑了 iptables 规则，使端口 8123 可以访问。我可以http://host:8123在浏览器中访问，并且代理看起来工作：

输出是这样的：

该命令并不总是成功运行，有时我会收到以下错误：

的输出netstat -tlnp是：

实在找不到原因，谢谢大家帮忙。

目前我正在仔细研究 polipo 代理软件。我已经设法通过基本用户身份验证设置了一个简单的 socks5 代理。

只需要将监听接口从eth0改为ppp0即可。遗憾的是 polipo 文档没有提供有关此任务的任何详细信息。

操作系统是在 Hyper-V 中运行的 Debian 8。

可以通过调用参数或配置文件甚至 iptables 以某种方式完成此配置吗？

我在 middlewares.py 中引用了以下代码，我试图在每个请求中更改我在 TOR 中的 ip

但是当我尝试开始在scrapy中爬行时，它不断返回我以下信息：

我在这里使用这个例子。要使用 Tor/Privoxy 更改我的身份，但我遇到了几个问题，例如必须多次键入“scrapy crawl something.py”来启动蜘蛛，或者让蜘蛛在爬行过程中突然停止而没有任何错误消息.

东西.py

开始爬取失败时的错误信息：

编辑：错误日志

我已将以下代码添加到 /etc/polipo/config 文件中：

将此代码添加到 settings.py 文件：

删除了我的scrapy项目文件夹中的middlewares.py文件，并添加了一个新的middlewares.py，代码如下：

设置 TOR 浏览器网络设置如下：

使用以下命令启动 polipo：

似乎它没有抓取该网站。这是我的日志：

我使用 Scrapy 进行网络抓取，使用 Polipo 作为代理，使用 Tor 作为网络。我知道我的代理会产生轮换 IP，但 IP 位置大部分时间都在我的国家之外。在我抓取的网站上，考虑到 IP 的位置，它可能会受到一些阻碍。那么，如何保持循环IP规则并限制使用IP的位置呢？

Scrapy 版本：1.5.0，Python 版本：2.7.9，Tor 版本：0.3.4.8，Vidalia：0.2.21

我可以在哪里添加socksParentProxyKubernetes 部署文件以与 tor 通信 polipo。我已经创建了 tor 服务tor:9150和 tor 部署。这是我的 YAML 文件：

我已经在我的 Ubuntu 16 vps 上安装了 Squid 代理。这是我的 squid.conf：

这是我的 /etc/resolve.conf

在我的其他 vps 上，我正在使用 Polipo 将我的项目代理到该服务器。这是我的 Polipo 配置：

我可以访问所有其他网站，但是当我尝试连接到 twitter.com 时，我收到以下消息：

这里有什么问题吗？

以下错误是在docker 容器中启动Polipo并尝试连接到另一个容器中的Tor实例时：

在那之后 Polipo 容器停止了！此外，docer-compose.yml文件是：

Tor成功启动但Polipo没有启动的地方：

Tor日志在哪里：

配置文件polipo.conf如下：

上面Polipo 的错误是什么以及如何解决？