问题标签 [polipo]

问题

我正在测试一个包装 SOCKS 代理 (TOR) 的 HTTP 代理。它适用于普通 URL，但我得到一些 .onion 地址的奇怪结果。

在这个例子中，我指的是“隐藏的 wiki”。输出看起来像垃圾：

背景

使用火炬隐藏服务可以正常工作：

同样，正常的 URL 似乎没问题：

代理是使用 polipo 创建的，配置如下：

可能的原因

我对可能原因的看法：

1. 服务器以垃圾响应作为某种反网络爬虫措施。
2. 我处理响应的方式有问题。
3. Polipo 搞砸了。
4. 还有什么...

想法？

我正在做一个使用 polipo 和 tor 的简单示例，它在我的 firefox 浏览器上运行良好。我已将 polipo 设置为代理，并且浏览器工作正常。

然后我尝试根据一个简单的例子在node.js中做一个简单的请求，但没有成功。如果我尝试向http://check.torproject.org发出请求，它工作正常。但是如果我向 https:// 发出请求，则会出现以下错误：

我发送的标题：

奇怪的是，这个页面在 Firefox 上运行良好。我想知道我是否对这段代码做错了，或者我是否根本无法使用 polipo 进行 HTTPS 请求。

有没有人有任何解决方案或我可以测试的东西？（我正在使用 mac 顺便说一句）

谢谢！

编码：

更新：我现在正在运行这个命令：

并得到这个错误：

我正在尝试通过scrapyd-deploy部署我的scrapy蜘蛛，以下是我使用的命令：

我收到以下错误消息：

以下是我的scrapy.cfg文件：

我正在使用 port 上的 polipo 代理运行 tor 和 polipo 'http://localhost:8123'。我可以毫无问题地执行 wget 并下载该页面。代理正常工作，我可以连接到互联网等等。请询问您是否需要更多说明。

谢谢！

我有这种奇怪的情况，

我有一个适用于我目前拥有的所有浏览器的链接（chrome,IE,firefox），我尝试使用scrapyin抓取页面python。但是我得到了response.status == 400，我tor + polipo习惯于匿名爬行

response.body是 ：

我只是想知道为什么会这样，是不是浏览器可以得到结果但不能scrapy？

我编写了我的第一个 Dockerfile，以便使用 tor 和 polipo 测试 Docker。我的 Dockerfile 看起来像：

我的 startpolipotor.sh 包含 3 行：

但是当我启动这个命令时：

当我启动时，一旦进入容器ps，我什么也看不到。我该如何解决这个问题？

我使用 brew 通过 Mac OS 终端安装 polipo。似乎安装成功，但我找不到配置文件并对其进行编辑。谁能帮我找出原因？

我正在尝试通过 polipo 在我的 mac 上配置代理。我已经安装了 polipo 1.1.1，但坚持配置它。关键是我找不到配置文件在哪里添加代理主机和代理端口。试图通过 Finder 搜索文件，没有结果。

请帮忙

我正在使用 Ubuntu 14.04 LTS。

我尝试了 Polipo，但它一直拒绝 Firefox 的连接，即使我将自己添加为 allowedClient 并进行了数小时的研究而没有解决方案。所以相反，我安装了 Privoxy，并通过访问 Tor 网站验证了它与 Firefox 一起使用，它说恭喜这个浏览器配置为使用 Tor。这证实了我应该能够抓取 Tor 网站。

但是，当我使用 Scrapy 时，我收到一个似乎没有人遇到的错误......？

我查找了这个“to_byte”错误，但我转到了 Scrapy 的源代码。

我知道这段代码可以在没有代理的情况下工作，因为它会抓取我的本地主机网站和其他网站，但显然不是 Tor，因为它需要代理才能访问洋葱网站。

到底是怎么回事？

中间件.py

设置.py

我polipo在我的终端代理 http 请求上使用。配置完成后，我重新加载它。它发生了错误。

终端错误信息：

我尝试更改文件的所有者和组，但它没有重新加载。

/usr/local/Cellar/polipo/1.1.1/homebrew.mxcl.polipo.plist: Path had bad ownership/permissions

我正在尝试将日志记录添加到 Web 代理 Polipo，作为其中的一部分，需要在以下函数中记录 url请求：

从编译中我看到 AtomPtr 是一个类型的结构，_Atom但我找不到它的定义位置，以便我可以在日志语句中引用 url 的文本。在 C 代码中查找结构定义的规范方法是什么？