1


我编写了一个应用程序,它只解析指定网站的网页列表并使用 JSoup 提取内容。
问题是,使用我的 IP,我每天最多可以从我的列表(在同一个域上)请求 3 个特定页面,在这 3 个页面之后,我尝试的每个请求都被重定向到一个要求我下次再来的页面一天还有 3 个请求。
我想要做的是让我的应用程序每 3 个请求更改一次我的 IP。

我已经测试了 SilverTunnel 和 JTor(允许我为我的请求每 3 个请求获取一个新的身份 IP),但是这些库的文档记录很差,几乎没有关于如何每 N 个周期更改我的身份的示例)。

我在问是否有人知道一种方法可以让我的应用程序更改我的 IP,屏蔽它,甚至向我的 ISP 询问特定的 IPV6 以使用和发布不同的新 IPV6。

有谁知道该问题的任何解决方案或测试过类似的东西?

谢谢大家。

4

1 回答 1

0

此用例的最佳解决方案是向网站请求您所做的事情的许可。然后,他们会将您列入白名单,或者更好的是,将您指向一个内部 API,您可以在其中以比 HTML 更有效的方式获取有趣的数据。

[编辑]我还没有听说过(合法的)技术解决方案。犯罪分子使用带有数千台被黑计算机的巨大僵尸网络来进行此类事情,但我强烈建议您远离这种情况。

我还没有遇到每天只允许三个下载的页面。这种严格的限制告诉我,那些人真的痴迷于他们的数据。试图绕过他们的防御可能会给你带来麻烦(无论从你的角度来看它看起来多么愚蠢)。如果他们和你在美国,准备因违反CFAA被起诉。这种情况以前发生过,原因较少

现在介绍一些技术细节。你没有说你是如何连接到互联网的。如果您通过 DHCP 接收 IP,则需要让您的 ISP 提供不同的地址。这将是他们一方的手动过程,因此请准备好在他们一方找到一点热情。

Tor 听起来像是一个很好的解决方案,因为Onion 路由每次都应该使用不同的出口节点发出您的请求。但是只有(相对)少量的出口节点,所以很可能在相对较短的时间后,您将尝试每个节点 3 次(如果其他人与您连接到相同的服务,情况会变得更糟)。

[EDIT2]一种可能的解决方案可能是成为 ISP 并正式购买 IP 地址块(就像任何普通的 ISP 一样)。

IPv6 块不应该那么昂贵,但请注意,如果该服务仅适用于 IPv4,它们将无法为您提供任何帮助!如果是这种情况,那么在您和服务之间会有一个 IPv6 到 IPv4 的桥接器,它会认为您始终使用相同的地址。

目前试图购买 IPv4 地址可能是没有希望的(好吧,如果你愿意花很多钱,也许你可以得到一个块)。

于 2013-10-03T10:06:52.417 回答