问题标签 [urllib2]

如何使用 Python 的 urllib2 发出“保持活动”HTTP 请求？

我通过这个问题来到这里： Send file using POST from a Python script

总的来说，这是我需要的，还有一些额外的。

除了 zipfile som 还需要其他信息，POST_DATA 看起来像这样：

海报 0.4 模块是否有可能（在你问之前，是的，我对 Python 还很陌生......）

亲切的问候，布赖恩·安德森

我目前有一个小脚本，可以下载网页并提取一些我感兴趣的数据。没什么特别的。

目前我正在像这样下载页面：

尽管这很有效，但我认为删除对 wget 的依赖是有意义的。我认为将上面的内容转换为 urllib2 应该是微不足道的，但到目前为止，我的成功率为零。Internet 上有完整的 urllib2 示例，但我没有找到任何符合我对使用 HTTPS 服务器进行简单用户名和密码 HTTP 身份验证的需求的东西。

我知道这很简单..我只是错过了一些东西..我放弃了！

我使用了不同的代理服务器..无济于事..我得到了一些默认页面..在 /etc/wgetrc use_proxy = on

实际上我正在尝试将此设置（http_proxy）与python的urllib2一起使用。它也访问一些默认页面..

strace - 对代理服务器进行 dns 查找 GET http://slashdot.org/ HTTP/1.0\r\nUser-Agent: Wget/1.11.4\r\nAccept: / \r\nHost: slashdot.org\r \n\r\n

任何指针？

我看过很多关于 cookiejar 的教程，但我的问题是我想转义的网页使用 javascript 创建 cookie，我似乎无法检索 cookie。有人有解决这个问题的方法吗？

如何使用 Python 和 urllib2 设置源 IP/接口？

我正在尝试向现有脚本添加身份验证代理支持，因为它是脚本连接到 https url（使用 urllib2.Request 和 urllib2.urlopen），抓取页面并根据它找到的内容执行一些操作。最初我希望这会像简单地将 urllib2.ProxyHandler({"http": MY_PROXY}) 作为 arg 添加到 urllib2.build_opener 一样简单，然后将其传递给 urllib2.install_opener。不幸的是，这在尝试执行 urllib2.Request(ANY_HTTPS_PAGE) 时似乎不起作用。谷歌搜索让我相信 python 2.5 中 urllib2 中的代理支持不支持 https url。至少可以说这让我感到惊讶。

网上似乎有一些解决方案，例如http://bugs.python.org/issue1424152包含一个补丁urllib2，httplib旨在解决这个问题（当我尝试这个问题时，我开始收到以下错误：urllib2.URLError: <urlopen error (1, 'error:140770FC:SSL routines:SSL23_GET_SERVER_HELLO:unknown protocol')>）。这里有一个食谱食谱http://code.activestate.com/recipes/456195我打算接下来尝试。总而言之，虽然我很惊讶这不支持“开箱即用”，这让我想知道我是否只是错过了一个明显的解决方案，所以简而言之 - 有没有人有一个简单的方法来获取 https 页面在 Python 2.5 中使用带有 urllib2 的身份验证代理？理想情况下，这将起作用：

非常感谢

我正在编写一个使用多个 3rd 方 Web API 的 Web 应用程序，并且我想跟踪低级别的请求和响应以进行临时分析。所以我正在寻找一个能让 Python 的 urllib2 记录通过 HTTP 传输的所有字节的方法。也许是一个子类处理程序？

这只需要在单个子网上工作，不用于恶意使用。

我有一个用 Python 编写的负载测试工具，它基本上会在 URL 处爆炸 HTTP 请求。我需要针对基于 IP 的负载均衡器运行性能测试，因此请求必须来自一系列 IP。大多数商业性能工具都提供此功能，但我想将其构建到我自己的中。

该工具使用 Python 的 urllib2 进行传输。是否可以为构成请求的数据包发送带有欺骗 IP 地址的 HTTP 请求？

有没有办法限制 python 的 urllib2 模块下载的数据量？有时我会遇到以 /dev/random 作为页面的损坏站点，结果发现它们耗尽了服务器上的所有内存。