问题标签 [urllib3]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
34438 浏览

python - 使用 urllib3 进行身份验证

我正在尝试使用 urllib3 连接到网页。下面提供了代码。

如果我们假设 url 是一些需要使用用户名和密码进行身份验证的网页,我是否使用正确的代码进行身份验证?

我已经很舒服地使用 urllib2 做到了这一点,但我无法使用 urllib3 做同样的事情。

非常感谢

0 投票
1 回答
847 浏览

python - 如何使用 urllib3 和应用引擎直接响应发布请求?

我正在尝试使用应用程序引擎与第三方建立持久连接。具体来说,我正在连接一个实时竞价环境,我需要在 100 毫秒内做出响应,因此持久连接大大加快了这个过程。

为了做到这一点,我正在尝试使用 urllib3(如果有更好的方法请告诉我)当我的请求处理程序的 post 方法被调用时,我想写回调用 url 以保持连接打开。我了解如何使用 urllib3 打开请求,但是如何保持调用处理程序上的 post 方法时创建的连接。

目前我正在尝试:

但我担心这样做会打开一个全新的连接。

谢谢,山姆

0 投票
1 回答
3891 浏览

python - 如何使用 urllib3 Python 库使用 cookie 发出 http 请求?

可能重复:
Python urllib3 以及如何处理 cookie 支持?

我正在尝试从具有已发布 cookie 的网页中检索源代码并将源代码写入 txt 文件。如果我删除该cookies=cookie部分,我可以检索源代码,但我需要以某种方式将 cookie 与 http 请求一起发送。

我得到一个 KeyError:无

0 投票
0 回答
1291 浏览

python - 使用 urllib3 或 requests 和 Celery

我们有一个脚本,可以定期从各种来源下载文档。我打算把它移到 celery 上,但是在这样做的同时,我想同时利用连接池,但我不知道该怎么做。

我目前的想法是使用请求做这样的事情:

但我担心连接会无限期地保持打开状态。

只要我正在处理新文档,我真的只需要连接保持打开状态。

所以这样的事情是可能的:

但是,在这种情况下,我不确定连接会话是否会跨实例持续存在,或者一旦酸洗/解酸洗完成,请求是否会创建新连接。

最后,我可以在类方法上尝试对任务装饰器的实验性支持,如下所示:

最后一个似乎是最好的方法,我将对此进行测试;但是,我想知道这里是否有人已经做过类似的事情,或者如果没有,你们中的一个人阅读这篇文章可能有比上述方法之一更好的方法。

0 投票
1 回答
712 浏览

python - 使用 python Requests 库从 Twitter 的用户流中消费 - 如何检测断开连接?

我正在尝试使用请求来创建一种从 Twitter 的用户流中消费的强大方式。到目前为止,我已经制作了以下基本工作示例:

但是,我需要能够优雅地处理断开连接。目前,当流断开连接时,上面只是挂起,并且没有引发异常。

实现这一目标的最佳方法是什么?有没有办法通过 urllib3 连接池检测到这个?我应该使用超时吗?

0 投票
3 回答
9224 浏览

python - 从 URL 中检索 JPG 图片(Python)

我正在尝试使用以下 Python 代码从 http ULR 中检索 JPG 图像(以在 GUI 中显示它们):

但是,这给了我这个错误消息:“IOError:无法识别图像文件”。

我使用 urllib3 的原因是因为我需要一个持久连接(发送多个请求),而 urllib/urllib2 则没有。

提前致谢。

0 投票
1 回答
11924 浏览

http - urllib3 - 无法设置 http 代理

我正在尝试维护与代理的连接池。我的代码如下所示:

当我运行它时,它失败了:

知道我做错了什么吗?根据 urllib3 文档,关键字 args 被发送到 urlopen,但在这种情况下似乎没有发生。

这是urllib的链接,描述了代理关键字 arg 的用法。

0 投票
1 回答
4023 浏览

python-3.x - Python3 找不到 urllib3

我在 Ubuntu 系统上安装了 Python 2.7.3 和 Python 3.2.3。

我已经使用 pip 安装了 urllib3 并且可以从 python shell 导入它。当我打开 python3 shell 时,尝试导入 urllib3 时出现找不到模块错误。shell 中的 help('modules') 也没有列出 urllib3。

关于如何让 python3 识别 urllib3 的任何想法?

0 投票
1 回答
3055 浏览

python - 使用 urllib3/requests 时出现这个奇怪的“无效语法”错误

遵循其他人的建议:给定大量 url,有什么方法可以检查哪些是活动的/非活动的?

尝试使用 urllib3 安装请求时出现错误。

尝试安装请求。

尝试使用 urllib3。

最近刚安装了setuptools、pip、requests、urllib3。以该顺序。我有没有搞砸什么?顺便说一句,使用 python 2.5。

0 投票
3 回答
9434 浏览

python - 如何使用 python 请求执行限时响应下载?

用python下载大文件时,我想不仅对连接过程设置时间限制,还对下载设置时间限制。

我正在尝试使用以下 python 代码:

这不起作用(下载没有时间限制),正如文档中正确指出的那样:https ://requests.readthedocs.org/en/latest/user/quickstart/#timeouts

如果可能的话,那就太好了:

问题是,如何对下载设置时间限制?