问题
我正在测试一个包装 SOCKS 代理 (TOR) 的 HTTP 代理。它适用于普通 URL,但我得到一些 .onion 地址的奇怪结果。
在这个例子中,我指的是“隐藏的 wiki”。输出看起来像垃圾:
$ curl --proxy localhost:8118 http://kpvz7ki2v5agwt35.onion/
m�AO�@�����ۑp��ĖPbj
背景
使用火炬隐藏服务可以正常工作:
$ curl --proxy localhost:8118 http://xmh57jrzrnw6insl.onion/
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<title>TORCH: Tor Search!</title>...
同样,正常的 URL 似乎没问题:
$ curl --proxy localhost:8118 https://check.torproject.org/ | grep Congratulations
<img alt="Congratulations. Your browser is configured to use Tor." src="/images/tor-on.png">
Congratulations. Your browser is configured to use Tor.<br>
代理是使用 polipo 创建的,配置如下:
proxyName = "localhost"
proxyAddress = "127.0.0.1"
proxyPort = 8118
allowedClients = 127.0.0.1
allowedPorts = 1-65535
cacheIsShared = false
chunkHighMark = 67108864
socksParentProxy = "localhost:9050"
socksProxyType = socks5
diskCacheRoot = ""
localDocumentRoot = ""
disableLocalInterface = true
disableConfiguration = true
disableVia = true
dnsUseGethostbyname = yes
maxConnectionAge = 5m
maxConnectionRequests = 120
serverMaxSlots = 8
serverSlots = 2
tunnelAllowedPorts = 1-65535
可能的原因
我对可能原因的看法:
- 服务器以垃圾响应作为某种反网络爬虫措施。
- 我处理响应的方式有问题。
- Polipo 搞砸了。
- 还有什么...
想法?