问题标签 [urllib3]

所以我正在研究urllib3，因为它具有连接池并且是线程安全的（因此性能更好，尤其是对于爬网），但文档是......至少可以说是最少的。urllib2 有 build_opener 所以类似：

但是 urllib3 没有 build_opener 方法，所以到目前为止我想出的唯一方法是手动将它放在标题中：

但我希望有更好的方法，你们中的一个可以告诉我它是什么。也有人可以用“urllib3”标记这个。

我正在尝试在简单线程中使用 urllib3 来获取几个 wiki 页面。该脚本将

为每个线程创建 1 个连接（我不明白为什么）并永远挂起。urllib3 和线程的任何提示、建议或简单示例

@Lennart 的脚本出现此错误：

添加import threadpool; import urllib3和tpool = threadpool.ThreadPool(4)@user318904的代码后得到这个错误：

我正在使用 urllib3 通过 HTTP 一次又一次地查询一个在线 API（特别是超过 40,000 次）。
我注意到一开始，来自 API 的 HTTP GET 非常快（< 500 毫秒）。
随着越来越多的 HTTP 请求被发出，响应时间减慢到几秒钟。

我的代码如下所示：

我错过了什么吗？谢谢！

我刚开始使用 urllib3，我马上就遇到了问题。根据他们的手册，我从一个简单的例子开始：

我收到以下错误：

关于为什么会发生这种情况的任何线索？非常感谢。

当urllib2.request达到超时时，urllib2.URLError会引发异常。重试建立连接的pythonic方法是什么？

我正在尝试在 Google App Engine 上使用很棒的 Requests 库。我找到了一个与 App Engine 兼容的 urllib3 补丁，它依赖于请求。https://github.com/shazow/urllib3/issues/61

我可以成功

但是之后

失败并出现以下回溯。这是怎么回事？

我还没有找到任何人使用 Python 来通过 CAS 的例子。希望肯尼斯·赖茨（Kenneth Reitz）可以向我展示“请求”如何使这变得容易...

基本上，我无法通过 CAS 登录...从不验证我的 Python 尝试。（注意，我定义了两个 url....url1 是主网页，url2 是指向 CAS 站点的重定向链接...我已经知道重定向链接，所以很容易）。

我的理解是我所要做的就是捕获 CAS 作为 cookie 发送给我的 JsessionId，然后获取该 cookie 并将 jsessionid 附加到 url 并使用我的用户名/密码将其作为 POST 发送回 CAS ）。但是，此脚本每次都失败。

一些 CAS 专家可以帮助我吗？我根本无法弄清楚为什么它不会对我进行身份验证。

输出 .... 注意 jsessionId 是如何附加到 url2 的，所以这很好.....我认为。

我正在编写一个涉及 CAS、jspring 安全检查、重定向等的简单脚本。我想使用 Kenneth Reitz 的 python 请求，因为它是一项很棒的工作！但是，CAS 需要通过 SSL 进行验证，所以我必须先通过这一步。我不知道 Python 请求想要什么？这个 SSL 证书应该放在哪里？

我编写并重写了我的小 Python 应用程序，以至于我目前的 Python 技能还不够。我从一个使用 Beautiful Soup 作为解析器的单线程应用程序开始，改为 lxml。使脚本多线程，我发现扭曲但无法将这个小片段更改为扭曲。我会在这里发布这个，所以也许你们可以为我指出更好的方向，让这可能更快一点。要获取 150k 页面，此时我需要 1 小时。我对此感到满意，因为当我第一次尝试编写它时，我的速度慢了 3 倍。

这是我的代码：

错误：

我谷歌它，但没有什么相关的。太奇怪了，我想不通...