问题标签 [urllib3]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
1876 浏览

python - Python 请求超时值错误

晚上好,

我无法让我的 https 请求通过。我必须使用 SSLv3,所以我指定了协议:

当我运行我的获取请求时,我收到以下错误:

有任何想法吗?我想不通。

附加上下文:我在 Amazon EC2 Ubuntu 实例上,运行请求 2.5.1 和 python 2.7.6

0 投票
1 回答
1674 浏览

python - 看到重试使用 urllib3.PoolManager 发送的请求而未配置重试

我有一些如下所示的 python 代码:

我有一个日志行,在发出请求的代码之前打印一次,并且该log.debug('Received...')行打印一次。但是,在服务器端,我偶尔会看到两个请求(它们都是此代码块发送的同一个 POST 请求),相隔大约 1-5 秒。在这种情况下,事件的顺序如下:

  1. 从 python 客户端发送的一个请求
  2. 收到第一个请求
  3. 收到第二个请求
  4. 第一个响应发送状态为 200 和一个指示成功的 http 实体
  5. 发送第二个响应,状态为 200,http 实体指示失败
  6. Python 客户端收到第二个响应

我试图通过在服务器中休眠来可靠地重现它(猜测可能存在导致重试的超时),但没有成功。我相信服务器上不太可能发生重复,因为它只是一个基本的 Scala Spray 服务器,在其他客户端上还没有看到。查看 的源代码PoolManager,我找不到任何包含重试的地方。有一种用可选参数指定的重试机制,但在上面的代码中没有使用这个可选参数。

有谁知道这个额外请求可能来自哪里?

编辑:@shazow 给出了一个关于retries默认值为 3 的指针,但我按照建议更改了代码并收到以下错误:

编辑#2:以下更改kwargs似乎对我有用:

0 投票
1 回答
1231 浏览

python - 轻松升级 Requests 的供应商版本的 urllib3?

Python 的 Requests 库捆绑了chardeturllib3packages

这可能意味着捆绑版本会有错误。我想知道是否有一种干净或简单的方法可以让请求使用不同版本的 urllib3。例如,我可以pip install requests urllib3让请求自动使用该版本吗?

我知道 Requests自动使用certifi而不是它的捆绑证书,如果certifi已安装,但我找不到这样的文档urllib3

否则我看到的选项是:

  1. 获取合并最新版本 urllib3 的请求,
  2. 分叉我自己的请求版本并使用它。
0 投票
1 回答
21055 浏览

python - Python InsecureRequestWarning 的真正含义是什么?

我收到警告:

我正在阅读文档

如果我知道自己在做什么,我会看到很多关于如何禁用它的帖子,比如这个

但是我仍然无法弄清楚错误的含义。我认为这意味着我缺少证书(因为它只发生在我的 VPS 上,而不是在运行相同版本脚本的 Mac 上),但我不明白为什么我需要证书来发出安全请求到第三方 API

非常感谢一个有用的总结(或只是一个正确方向的点),所以我可以决定是否禁用它。我的直觉是我不应该禁用它,所以我想弄清楚如何正确解决这个问题。

0 投票
1 回答
1374 浏览

python - 不断请求http数据的最佳方式?

在 Python 中从服务器请求常量数据的最佳方式是什么?我已经尝试过使用 Urllib3,但由于某种原因,一段时间后 python 脚本停止了。而且我也在尝试 urllib2(见下面的代码),但我注意到有时会有很大的延迟(使用 urllib3 并没有那么频繁地发生)并且响应不是每 0.5 秒一次(有时是每 6 秒一次)。我能做些什么来解决这个问题?

0 投票
0 回答
375 浏览

python - 如何使用 urllib3 搜索谷歌?

我试图从谷歌搜索中检索 url 列表,这是我当前使用 urllib 的实现:

该查询正在最后一个 fm 中搜索两个特定标签

0 投票
0 回答
420 浏览

python - urllib3 设置 cookie 到浏览器上

在浏览器请求下面的 python 代码从网页提供某些东西并且 python 程序应该能够设置主机网站发出的所有 cookie 的情况下,如何使用 urllib3 来做同样的事情。urllib3 lib也是正确的方法吗?

最终目标是必须在浏览器中设置由主机站点发布的 cookie

0 投票
3 回答
34611 浏览

python - 为什么在将数据上传到我的数据库时经常看到“正在重置断开的连接”?

我正在通过 REST API 从 Heroku 上的云服务器向 AWS EC2 中的数据库上传数亿个项目到我的数据库。我正在使用 Python,并且经常在日志中看到以下 INFO 日志消息。

在我的代码继续再次执行之前,这种“重置断开的连接”似乎需要很多秒(有时 30 多秒)。

  • 首先,这里到底发生了什么,为什么?
  • 其次,有没有办法阻止连接断开,以便我能够更快地上传数据?

谢谢你的帮助。安德鲁。

0 投票
2 回答
21686 浏览

python - 无法导入 requests.packages.urllib3.util '重试'

我在 Windows 8 上使用 Python 2.7 64 位。我安装了 Requests 2.3 版。我正在尝试运行此导入语句,作为在我的代码中引入重试次数的一部分:

我也安装了 urllib3(我刚刚通过 Pip 安装了它)。我收到错误消息:

谁能告诉我这是为什么?是否有任何其他我不知道的依赖项可以成功运行这行代码?

谢谢

0 投票
7 回答
41334 浏览

python-2.7 - 为 sslv3 问题修补 pyopenssl

我在使用 python 2.7.9-2 amd64 的 Debian 8 系统上遇到问题:

我检查了lib并尝试修补/usr/local/lib/python2.7/dist-packages/requests/packages/urllib3/contrib/pyopenssl.py

有人可以启发我如何解决这个问题吗?如果有人有线索,那就太棒了。我用谷歌搜索了这个问题,只发现不完整的补丁,而且很乱。一旦这个问题得到修复,也可能是错误跟踪器的一个案例。我对所有 Python 包都有这个问题。