问题标签 [polipo]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
scrapy - 使用 Tor 的 Scrapy-Splash
我已成功使用此链接使用 Tor 运行 Scrapy:http: //pkmishra.github.io/blog/2013/03/18/how-to-run-scrapy-with-TOR-and-multiple-browser-agents-第 1 部分-mac/
但我无法使用 Tor 运行 Splash。
在 Scrapy-settings.py 中,我针对 http_proxy(8123 是 polipo 端口)指向 polipo:
在 polipo.config 中,我指向 tor(9150 是 tor 端口):
非常适合scrapy。在飞溅中它不起作用。但我不得不说 splash 或 docker 来使用 polipo 为 http_proxy 就像在 scrapy-settings.py 中一样。Docker 应该以某种方式使用 polipo,而 polipo 将直接指向 tor。我怎样才能做到这一点?
我跑飞溅:
在 etc/default/docker 中,我尝试使用 docker 直接指向 polipo:
但我无法成功。我究竟做错了什么?谢谢 :)
proxy - 使用 polipo 将 shadowsocks 转换为 HTTP 代理
我的 ssserver 由 docker image oddrationale/docker-shadowsocks 启动:
然后我使用sslocal
命令获取本地代理。
/etc/shadowsocks.json
是这样的:
我polipo
用来将shadowsocks转换为http代理,我/etc/polipo/config
的是:
我编辑了 iptables 规则,使端口 8123 可以访问。我可以http://host:8123
在浏览器中访问,并且代理看起来工作:
输出是这样的:
该命令并不总是成功运行,有时我会收到以下错误:
的输出netstat -tlnp
是:
实在找不到原因,谢谢大家帮忙。
networking - Polipo 代理指定要监听的网络接口
目前我正在仔细研究 polipo 代理软件。我已经设法通过基本用户身份验证设置了一个简单的 socks5 代理。
只需要将监听接口从eth0改为ppp0即可。遗憾的是 polipo 文档没有提供有关此任务的任何详细信息。
操作系统是在 Hyper-V 中运行的 Debian 8。
可以通过调用参数或配置文件甚至 iptables 以某种方式完成此配置吗?
proxy - Scrapy 和 Tor/Privoxy 无法爬行 [连接被拒绝 61]
我在 middlewares.py 中引用了以下代码,我试图在每个请求中更改我在 TOR 中的 ip
但是当我尝试开始在scrapy中爬行时,它不断返回我以下信息:
python - Scrapy蜘蛛突然停止
我在这里使用这个例子。要使用 Tor/Privoxy 更改我的身份,但我遇到了几个问题,例如必须多次键入“scrapy crawl something.py”来启动蜘蛛,或者让蜘蛛在爬行过程中突然停止而没有任何错误消息.
东西.py
开始爬取失败时的错误信息:
编辑:错误日志
scrapy - Scrapy with Tor, Polipo in (Ubuntu) : 如何更新 IP
我已将以下代码添加到 /etc/polipo/config 文件中:
将此代码添加到 settings.py 文件:
删除了我的scrapy项目文件夹中的middlewares.py文件,并添加了一个新的middlewares.py,代码如下:
设置 TOR 浏览器网络设置如下:
使用以下命令启动 polipo:
似乎它没有抓取该网站。这是我的日志:
proxy - 如何在代理中设置国家/地区限制?
我使用 Scrapy 进行网络抓取,使用 Polipo 作为代理,使用 Tor 作为网络。我知道我的代理会产生轮换 IP,但 IP 位置大部分时间都在我的国家之外。在我抓取的网站上,考虑到 IP 的位置,它可能会受到一些阻碍。那么,如何保持循环IP规则并限制使用IP的位置呢?
Scrapy 版本:1.5.0,Python 版本:2.7.9,Tor 版本:0.3.4.8,Vidalia:0.2.21
kubernetes - polipo和tor kubernetes部署之间的通信
我可以在哪里添加socksParentProxy
Kubernetes 部署文件以与 tor 通信 polipo。我已经创建了 tor 服务tor:9150
和 tor 部署。这是我的 YAML 文件:
proxy - Squid 代理服务器拒绝连接 Twitter
我已经在我的 Ubuntu 16 vps 上安装了 Squid 代理。这是我的 squid.conf:
这是我的 /etc/resolve.conf
在我的其他 vps 上,我正在使用 Polipo 将我的项目代理到该服务器。这是我的 Polipo 配置:
我可以访问所有其他网站,但是当我尝试连接到 twitter.com 时,我收到以下消息:
这里有什么问题吗?
docker - 如何从其日志中检测 Polipo 的错误?
以下错误是在docker 容器中启动Polipo并尝试连接到另一个容器中的Tor实例时:
在那之后 Polipo 容器停止了!此外,docer-compose.yml文件是:
Tor成功启动但Polipo没有启动的地方:
Tor日志在哪里:
配置文件polipo.conf如下:
上面Polipo 的错误是什么以及如何解决?