问题标签 [tor]

我正在编写一个自动爬取网站以进行数据分析的 Ruby 脚本，现在我有一个相当复杂的要求：我必须能够模拟来自不同国家的访问，大约 20 个不同的国家。该网站将根据 IP 位置包含不同的信息，因此完成它的唯一方法是从实际位于该国家/地区的服务器请求它。

由于我不想在这 20 个国家/地区中的每一个都购买服务器，因此我选择尝试 Tor - 你们中的许多人都知道，通过编辑 torrc 配置文件，可以指定退出节点，从而指定国家/地区实际请求将来自哪个。

当我手动执行此操作时，例如通过编辑 torrc 文件以使用阿根廷服务器，然后使用 Vidalia 断开 Tor，重新连接 Vidalia，然后重新运行请求，它工作正常。但是，我想完全自动化这个过程，并尽可能高效地完成它。Tor 是用 C 语言编写的，我想避免为此拆开它的整个源代码。知道仅使用 Ruby 来自动化整个过程的最简单方法是什么吗？

另外，如果我遗漏了一些东西，并且有一个更简单的替代方案可以替代整个考验，请告诉我。

谢谢！

这个或我的任何其他 curl 脚本都不能正常工作。他们目前都没有设置使用 Tor，尽管我最近确实尝试实现它。CLI curl 程序也尝试连接 Tor。我从系统中清除了软件包，重新安装，它仍然是一样的。有任何想法吗？

我正在尝试通过 tor 使用 python 访问网站，但我遇到了问题。我开始尝试这个线程和其中引用的线程：如何在 Python 中通过 Tor 发出 urllib2 请求？

首先，我尝试了原始代码片段：

然后我尝试了在其中一个答案中发布的修改后的代码，人们说这对他们有用。不幸的是，代码在下载页面时起作用，但它不起作用，因为我的 IP 地址仍然相同：

根据 Ubuntu 和 TOR 站点各自的文档，我在标准配置中设置了 TOR，并且 nmap 显示在端口 9050 上运行的 TOR tcp 代理：9050/tcp open tor-socks但是，当我运行上述任何一个脚本时，我的 IP 地址都没有改变。python 是否不尊重 http 环境变量，或者是否存在我遗漏的代码问题？

我安装了 Vidalia，将 Chrome 设置为使用端口 8118 作为代理，我已经通过https://check.torproject.org/检查了我的连接，但我在使用命令行工具 cURL 进行这项工作时遇到了困难。这是我尝试的：

已解决：

我正在尝试使用 Tor 而不是运行 privoxy 等客户端，我想在我的 c# 程序中执行它（所以没有 privoxy GUI）。Tor 目前只支持 SOCKS，所以我需要一种方法将 Http 请求发送到这个 SOCKS TOR 服务器（直接或通过 http 代理）。

我的程序代码---WebProxy (Http 127.0.0.1:2000)---> Tor (SOCKS 127.0.0.1:5000)-->WebSite 并返回

我查看了 starksoft、componentspace 等库，但它们都只提供这些协议的开发客户端。

所以我怎么能写一种隧道/桥，所以当我发送http（现在没有https）请求并接收响应（使用webclient或httpwebrequest等类时）。

我希望解释清楚，如果不是，请不要

我一直试图让 Tor 与 Python 一起工作，但我一直在碰壁。我根本无法让任何示例起作用。这是来自Stackoverflow的一个

我已经安装了 Tor，它在浏览 Aurora 时运行良好。但是运行这个python脚本我得到

我在网上搜索过，但找不到有 simiair 问题的人。我错过了一些完全明显的东西吗？！

我正在创建一个工具，我希望使用 Tor 网络。

我熟悉 PHP 和它的 cURL 扩展，但我似乎无法使用 Tor 作为代理。我一直没有得到服务器的响应。

我对问题可能是什么一无所知。我的 cURL 设置不正确吗？

每个外部中继都不适合我，但我的本地中继确实有效。

操作系统：OSX，但也在 Windows 上测试过

PHP：5.3.5

卷曲：7.21.3

您好，我正在用 Python 构建一个 IM P2P 客户端/服务器，并希望使用 Tor 作为它的代理，服务器使用线程运行，而客户端同时运行

在本地系统上运行的服务器是否需要监听 Tor？如果是这样，我该怎么做？如何让客户端使用 Tor 连接到远程系统？

我已经搜索了一些示例，但它们导致一个库似乎很难下载

这是相关的服务器/客户端代码

任何想法都非常欢迎和赞赏

I am trying to crawl website, which is sophisticated enough to stop bots, I mean it is permitting only a few requests, after that Scrapy hangs.

Question 1: is there a way, if Scrapy hangs I can restart my crawling process from the same point. To get rid of this problem, I wrote my settings file like this

This is my program:

The question is where I could write the http proxies and shall i have to import any tor related classes, I am new to Scrapy because of this group I learned so much, Now I am trying to learn "how to use ip rotation or tor'

As one of our member suggested, I started tor and I set HTTP_PROXY to

but it is throwing some errors,

So i changed http_proxy to

Now the error is

I checked firefox network settings, there I couldn't see any http proxies but instead of that Its using SOCKSV5, there it is showing 127.0.0.1:9051. (before TOR it works with no proxies)Please help me I am still not understanding how to use TOR through Scrapy. Which bundle of TOR I am supposed to use and how? I hope that both of my questions will be resolved

1. If a scrapy crawler hangs for some reason (Connection failure), I would like to resume the service from there itself
2. How to use rotating IPs in Scrapy

我正在为学术研究编写网络爬虫。这个爬虫发出数百万个请求，我想分发超过十个左右的 IP 地址。

我的机器已经有一个 IP 地址。我可以通过使用 Tor 获得一秒钟。我可以从 Tor 获得更多的 IP 地址吗？这是我这样做的想法（以及围绕它们的问题）

• 运行多个 Tor 实例；每个都提供一个 IP 地址。（但是 Tor 会映射超过一两个匿名 IP 地址到我的机器上吗？）
• 运行一个实例，但为每个请求更改其身份。（但 Tor 会限制这种行为，如此处所述？）

这些想法中的任何一个都行得通，还是括号中的部分会使它们失败？还有其他想法吗？