问题标签 [grequests]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
2495 浏览

python - 如何使用 Python 每秒发送 1k POST http 请求和数据?

我需要对我的 API 进行压力测试。我修改了该示例以发送 POST 而不是 HEAD,我还向我的请求添加了一些数据:

之后性能下降到每秒 5 个请求!我也尝试了该问题的所有答案收到相同的结果。达到 1000 req/sec 是真的吗?

0 投票
1 回答
2521 浏览

python - 安装 grequests 但错误:“没有名为 grequests 的模块”

http://i.imgur.com/Kyw8Rip.png

它说 grequests 已成功安装。但是当我想导入它时。我收到一条错误消息“没有名为 grequests 的模块”

我怎样才能解决这个问题?

系统 = 操作系统 10.11.6

0 投票
1 回答
99 浏览

python - 维基百科查询 + Grequests

我正在尝试查询约 50 个维基百科页面。我一直在使用 requests 包来发出 GET 请求,但我一直在努力实现 grequests,因为我听说它的性能要好得多。

对我来说,性能提升真的很小。难道我做错了什么?

输出:sync_time:8.945282936096191 async_time:7.97578239440918

谢谢!

0 投票
0 回答
765 浏览

python - Python grequests 没有响应

我正在使用 grequests 爬取这个网站(速度很慢),在最初的几百个请求中,我得到的主要是 200 个 HTTP 响应,但在某个时刻,我得到的只是 None 响应(没有任何引发的异常)。

最奇怪的部分是,如果我在第一次爬网仍在运行并获得 None 响应时再次尝试运行爬网,则第二次爬网收到 200 个响应。

顺便说一句,我很确定我正在抓取的网站没有任何类型的抓取保护。

这是我的代码:

0 投票
1 回答
2170 浏览

python - 即使在使用 exception_handler 之后,grequests 也会返回“None”类型

我正在使用 grequests 模块发出异步请求。在测试以下代码时,显示基于 TIMEOUT 值的异常:

那么timeout 的值如何影响 exception_handling 最后一部分的执行呢?

0 投票
1 回答
288 浏览

python-2.7 - 单独线程上的 Python 2.7 qrequests.map 得到响应,但 grequests.send 没有

我有一个 python 程序,它为 HttpServer 创建一个单独的进程来运行。然后我在单独的线程上使用grequests.map或使用threading.Pool向该HttpServer发出请求。

当我grequests.map在单独的线程上使用时,我得到了响应。但是,当我使用grequests.senda时,threading.Pool我没有得到响应。

我已经粘贴了下面的代码来演示我遇到的问题。为什么grequests.map在单独的线程上有效,但grequests.send在 athreading.Pool上无效?

在以下输出中使用grequest.sendwith a结果:threading.Pool

==================================================== ========================

grequests.map在单独的线程上使用会产生以下输出:

==================================================== ========================

==================================================== ========================

==================================================== ========================

0 投票
1 回答
67 浏览

python - 使用使用另一个库的修补和非修补版本的库

我猜这个问题(Import not Working)的含义如下,而且很有趣:

库 A 和 B 实际上是grequest和多处理。(我听说)grequest 修补套接字,但多处理不能使用修补版本。

我想使用两个库 A 和 B。问题是库 A 内部导入了库 C 的修补版本,但库 B 内部导入了库 C 的未修补版本。

库A.py:

库B.py:

我的程序.py:

结果(python3 my_program.py):

问题:

libraryB 应该使用 numpy 的未修补版本,但它使用的是修补版本,因此 my_program.py 中的 libraryB.g() 中断。如何修复 -this- ?

0 投票
1 回答
1005 浏览

python - grequests.post() 正在返回 None

难道我做错了什么?

0 投票
1 回答
309 浏览

python - 如何使用 grequest 从多个 url 打印相同的字典对象?

我有一个所有使用相同 json 结构的 URL 列表。我正在尝试使用 grequest 一次从所有 URL 中提取特定的字典对象。尽管我使用的是请求,但我可以使用一个 URL 来完成:

我希望能够为每个 URL 打印上面打印的内容。但我不知道从哪里开始。这是我到目前为止所拥有的:

我认为它会是这样的,print(response.json(['result']['buy'][0]['Quantity'] for response in responses))但这根本不起作用,python 返回以下内容:print(responses.json(['result']['buy'][0]['Quantity'] for response in responses)) AttributeError: 'list' object has no attribute 'json'. 我对 python 和一般的编码非常陌生,我将不胜感激。

0 投票
1 回答
1345 浏览

python - 异步请求不能使用 GRequests

我正在做一个程序。它从文件中读取 url,然后发出请求。但是处理程序不会被调用。

这是我的代码:

谁能明白为什么它不起作用?