问题标签 [urllib]

我正在用 Python 编写一个软件来从数据库下载 HTTP PDF。有时下载会因此消息而停止：

我如何要求下载在停止使用206 Partial ContentHTTP 功能的地方重新启动？

我可以使用wget -c它来实现它并且效果很好，但我想直接在我的 Python 软件中实现它。

任何的想法 ？

谢谢

我正在尝试使用 urllib 模块在 Python 2.6.4 中发出 HTTP 请求。有没有办法设置请求标头？

我确信使用 urllib2 可以做到这一点，但我更喜欢使用 urllib，因为它看起来更简单。

连接到套接字并使用 .read() 捕获响应后，如何解析输入流和读取行？

我看到返回的数据没有任何 CRLF

我认为当您使用 post 时，post 发送了 HTTP 标头中的所有信息（显然我对这个主题不太了解），所以我很困惑为什么您必须将数据 urlencode() 转换为某种key=value&key2=value2格式。使用 POST 时该格式如何发挥作用？：

但

我收到“HTTP 错误 500：内部服务器错误”响应，但我仍想读取错误 HTML 中的数据。

使用 Python 2.6，我通常使用以下方法获取页面：

当尝试在失败的 URL 上使用它时，我得到了异常urllib2.HTTPError：

如何urllib2在它们返回内部服务器错误的同时获取此类错误页面（有或没有）？

请注意，对于 Python 3，相应的例外是urllib.error.HTTPError.

我有一段代码我不知道如何进行单元测试！该模块使用 urllib2 从外部 XML 提要（twitter、flickr、youtube 等）中提取内容。这是它的一些伪代码：

我的第一个想法是腌制响应并加载它进行测试，但显然 urllib 的响应对象是不可序列化的（它会引发异常）。

仅从响应正文中保存 XML 并不理想，因为我的代码也使用了标头信息。它旨在作用于响应对象。

当然，在单元测试中依赖外部数据源是一个可怕的想法。

那么我该如何为此编写单元测试呢？

我正在尝试使用 urllib从 ftp人口普查站点下载 zip 文件（“tl_2008_01001_edges.zip”）。当我得到它时，zip 文件是什么形式的，我如何保存它？

我对 Python 很陌生，不明白 urllib 是如何工作的。

这是我的尝试：

如果我知道 ftp 文件夹列表（在这种情况下是县），我可以使用 glob 函数遍历 ftp站点列表吗？

谢谢。

当我搜索exploit-db.com 站点时，我只得到25 个结果，我怎样才能让它转到另一个页面或传递25 个结果。

我正在使用 urllib 模块中的 urlretrieve。

我似乎找不到如何在我的请求中添加用户代理描述。

urlretrieve 可以吗？还是我需要使用其他方法？

我在创建使用 URL 的脚本时遇到了一些麻烦。我正在使用 urllib.urlopen() 来获取所需 URL 的内容。但其中一些 URL 需要身份验证。urlopen 提示我输入我的用户名和密码。我需要的是忽略每个需要身份验证的 URL，只需轻松跳过它并继续，有没有办法做到这一点？我想知道捕获 HTTPError 异常，但实际上，异常是由 urlopen() 方法处理的，所以它不起作用。

感谢您的每一个回复。