问题标签 [grequests]

我从国际刑警组织网站收集到通缉犯的链接。大约有 10k 个链接。一个一个地抓取需要几个小时，所以我正在寻找用grequests.

这是我的链接列表的预览：

现在我试图从每个链接中获取响应：

前几个结果是响应 200，但随后大多数（不是全部）是 403。只是国际刑警组织服务器不允许这样做还是我做错了什么（我太贪心了吗？:)）？当我一一使用时requests，它工作正常。

我正在使用 grequests python 模块来调用一些 API。我想做两个功能。

1. 单个请求（使用请求模块）
2. 多个请求（使用 grequests 模块）

当我在两个不同的文件中使用两个模块时，它运行正常，但是当我在同一个文件中导入两个模块时，请求模块陷入无限递归。

如果我调用 MultiRequest() -> 做得好！

但是如果我调用 SingleRequest() ..... ↓

是否可以在一个文件中使用请求和请求？

我在 python 2.7 中编写了一个 TCP 代理服务器，它使用 gevent 为每个连接创建一个 greenlet。当套接字关闭时，我关闭了greenlet。我正在使用grequest.map来发布给定连接接收到的数据。我正在使用 grequests，因为我希望 greenlet 在等待对 POST 的 HTTP 响应时产生。

当我测试仅使用单个连接在本地运行的服务器时，有时从映射 grequest 到 urllib3 记录它正在启动连接需要 0.5 秒。并不一致，大多是在 0.05s 内发出请求，但偶尔会更长。

我正在记录从我告诉 grequests 发出请求所花费的时间以及请求报告的经过时间。此外，我正在为所有日志添加时间戳，因此我可以在日志中看到有时存在很大的时间间隔。

这是代码在服务器上的样子：

这是需要很长时间才能发布时生成的日志的示例：

为什么请求有时需要这么长时间才能出去？当端点的响应速度也很慢（考虑到平均值，0.6 秒很慢）时，似乎会发生这种情况，但我不确定这些是否相关或为什么相关。

目前，我在 Ubuntu 14.04 上运行 vagrant 服务器，并使用简单的python manage.py runserver 0.0.0.0:8000

由于我使用 chrome through 连接到 django 网络服务器http://localhost:8000并且服务器在 VM 上运行，因此我通过使用以下设置进行端口转发Vagrantfile

config.vm.network "forwarded_port", guest: 8000, host: 8000

一切正常运行（所有模块/视图/测试都按预期运行），但是，自从我开始使用以来，grequests我得到了这个奇怪的错误

请注意，我没有使用，并且即使没有调用它或其他任何东西grequests，简单地导入它似乎也会导致此错误

有人有想法么？

我有如下的小代码片段：

我要做的就是向端点发出并行 POST 请求，而每个 POST 将具有不同的令牌，因为它是 post 正文。

1. 我能用上面的方法实现我想要的吗？我得到了输出，但不确定我的请求是否是并行发送的。
2. 我知道 grequests。我想实现真正的并行请求（如在我的系统上使用多个处理器），因此我选择了多处理而不是 grequests（据我所知，它使用 gevents，它又不是并行的，而是多线程的）。我的理解在这里正确吗？

我正在尝试编写一个工具来从 Python 生成大量请求。请求需要将证书附加到每个请求。

意思是我正在做类似的事情：

如何确保每次都从内存而不是文件中读取证书？因为我怀疑这会减慢速度。

为了生成负载，我正在使用grequests。

所以标题有点混乱我猜..

我有一个我一直在编写的脚本，当我打开我的 shell 时，它会显示一些随机数据和其他非必需项。我使用 grequests 进行 API 调用，因为我使用了多个 URL。对于我的天气数据，我使用 Wea​​therUnderground 的 API，因为它会提供活动警报。警报和条件数据位于不同的页面上。我想不通的是如何在 grequests 对象发出请求时插入适当的名称。这是我拥有的代码：

在 URL 中'http://api.wunderground.com/api/'+api_id+'/conditions/q/autoip.json'，我需要向条件和警报发出API 请求以检索我需要的数据。如何在不重写第四个 URLS 字符串的情况下做到这一点？

我试过了

但是，我相信你们中的一些经验丰富的程序员都知道，抛出和异常。那么如何遍历这些页面，或者我必须写出两个完整的 URL？

谢谢！

我正在尝试抓取这个网站。我设法通过使用 urllib 和 beautifulsoup 来做到这一点。但是 urllib 太慢了。我想要异步请求，因为网址有数千个。我发现一个不错的包是 grequests。

例子：

问题是我不知道如何继续和使用beautifulsoup。从而得到每个页面的html代码。很高兴听到你的想法。谢谢！

我正在尝试同时发送多个带有 JSON 有效负载的 POST 请求并检索 JSON 结果。我已经阅读了其他一些关于 SO 的帖子，但没有任何效果。

如果我使用 response.json()，它会返回错误：

如果我尝试使用 response.json，返回的不是实际的 JSON 内容，只是对象详细信息和响应代码：

有任何想法吗？提前致谢！

我正在使用 Reddit api 来支持一些 subreddit。我想同时支持多个 subreddits，使用该praw库与 reddit api 交互。

我想为 /r/bookclub 的 27 个“热门”和“上升”帖子投票：

我想使用异步或多处理来更快地做到这一点。我使用该grequests库.upvote()一次完成所有工作，到目前为止它正在工作，但我不确定它是否真的更好：

两个版本都支持 subreddit。我想知道是否可以同时运行hot_upvotes和rising_upvotes部分？