0

我正在通过 Windows 10 上的 Anaconda 终端使用 Shodan 的 API 来获取针对以下查询的数据,但在运行几秒钟后,ETA 计时器冻结,我的网络活动降至零。发生这种情况时按 Control+C 会重新启动它并让它再次移动几秒钟,但很快就会停止。

shodan download --limit 3100000 data state:"wa"  

此外,当它运行时——下载速度似乎很慢;我想问问有什么办法可以加快速度吗?My Universities 的互联网能够达到 300 Mbps 以上,但下载速度似乎上限为 5 Mbps。

我不知道如何解决这两个问题;我的设备有足够的空间,而且我的互联网没有断开连接。我们曾尝试以管理员身份运行 Anaconda 终端,但这也无济于事。

4

2 回答 2

1

我不熟悉具体的网站,但一般来说,速度受限或下载停止不是由“你这边”的事情引起的,比如大学连接,甚至是你的下载脚本。

奇怪的是网站想要保护自己,并且您需要以不同的方式使用 api(例如使用不同的帐户)。或者您根据您的帐户设置了一些使用限制,您点击了这些限制。

最好的做法可能是联系网站并询问他们如何做到这一点。

于 2019-03-02T22:57:25.147 回答
0

我收到了 Shodan 支持的回复;在这里交叉发布他们的一些回复-

API 不是为大量数据导出而设计的。结果,您遇到了一些问题/限制:

  1. 每个搜索查询的硬性限制为 100 万条结果。这意味着无法下载搜索查询“state:wa”的所有结果。
  2. 搜索 API 在前几页上表现最好,并且在您获得的结果越深入时响应越慢。这意味着前几页会立即返回,而第 100 页可能需要 10 多秒。
  3. 您每秒只能发送 1 个请求,因此您无法多路复用/并行化搜索请求。

可以使用搜索方面执行许多高级分析。

shodan.pdf 小册子中有关于方面的文档漂浮在他们的网站上,用于从他们的 API 返回摘要信息。

于 2019-03-06T05:14:01.960 回答