问题标签 [grequests]

我有一个需要检索的 API 的 ~250K url 列表。

我已经使用grequests它完全按照我想要的方式制作了一个类，除了，我认为它工作得太快了，因为在运行了整个 URL 列表后我得到了错误：

到目前为止的代码：

如何减慢代码速度以防止“最大重试错误”？或者更好的是如何将我拥有的列表分块并以块的形式传递 URL？

在mac上使用python3.6。

编辑：

问题不重复，必须将许多 URL 传递到同一个端点。

我有一个大约 300K URL 的列表，用于我需要从中获取数据的 API。

API 限制为每秒 100 次调用。

我已经为异步创建了一个类，但这正在快速运行，并且我在 API 上遇到错误。

如何减慢异步速度，以便每秒可以进行 100 次调用？

我有一个大约 250000 个 url 的列表，我需要从 API 获取数据。

我使用 grequests 库创建了一个类来进行异步调用。但是 API 限制是每秒 100 次调用，grequest 超过了这个限制。

使用 grequest 的代码：

无论如何我可以使用请求库每秒拨打 100 次电话吗？

我尝试了请求，但在大约 100000 次调用后超时。

在这种情况下，我将一个 ID 传递到 URL 中。

我在使用钩子将附加参数传递给 grequests 时遇到问题，它在独立应用程序（非烧瓶）中工作，但不适用于烧瓶（烧瓶集成服务器）这是我的代码片段。

我在这里错过什么了吗？

我想在 10 分钟或更长时间内发送 10000 个请求，但不超过 60 分钟！

我已经尝试过 grequests 但我无法获得响应内容！

例子：

下面的代码能够通过 grequests 获得多个 Web 结果，但是为什么它会因“进行简单的 api 调用”而失败

代码：

为什么输出不是：（响应 [200]，响应 [200]，响应 [200]，响应 [200]）

但是：（无，响应 [200]，无，响应 [200]）

...只是故意跳过api调用）：

我编写了一个 python 代码来使用 grequests 发送异步请求，如何检查哪个请求的响应是这个？响应的顺序是否与发送的顺序相同？

这是我的代码：

我需要这样的输出：

如何在 grequests 中遵循重定向？

在 requests 库中，我们可以简单地使用 :r = requests.get(url, allow_redirects=True)来允许重定向。

grequests 有什么东西吗？

我检查了https://pypi.org/project/grequests/但没有发现任何东西。

我尝试下载大约 6000 个 http 地址的 /home.htm 文件。为了速度，我尝试使用 grequests 一次发送它们，但我只得到大约 200 个答案，其中大多数给出了连接被拒绝的错误。当我将地址分成 100 个块然后单独发送每个块时，大约 1200 个地址会回答我（=他们的 /home.htm 下载成功），即使我使用与以前相同的地址。

我在 Ubuntu 16.04 上使用 Python3.6 运行它。

正如我上面描述的结果不同。当我以块的形式发送请求时，我得到的结果比我一次发送的要多。这是为什么？有没有更好的方法来解决这个问题？

我目前正在尝试通过多线程来加快我的请求，但我不确定如何按照我想要的方式进行操作。我知道 grequests，但它们似乎需要一个 URL 列表。我有一个包含在 URL 中的起始编号的代码，并希望所有线程在获得 200 的 status_code 后停止

我试图通过 grequests 来实现这一点，但无法使其发挥作用。也尝试过线程，但不知道如何在找到工作 URL 后停止所有线程

我想要代码做的是request.head在“起始编号”之后使用一个数字一次执行多个，并在其中一个线程找到状态码为 200 的 url 后停止。