问题标签 [pycurl]

我熟悉 PHP 中的 CURL，但我第一次在 Python 中使用它和 pycurl。

我不断收到错误：

我不知道这可能意味着什么。这是我的代码：

错误是指该行ch.setopt(pycurl.POSTFIELDS, post)

我最近有一个网站运行了好几个月，突然间它决定无缘无故地放弃自己。

我正在运行 django + mod_python + apache，系统决定是时候开始忽略 pycurl 库的导入了，我最初的想法是库以某种方式损坏，或者路径未被 apache 或 mod_python 缓存。

检查路径、符号链接、权限并重新安装 pycurl 的确切版本后，我仍然收到相同的错误。奇怪的是，我可以在 python 本身中加载库并运行测试没有问题，但不能在 mod_python 中。我知道这些路径是正确指向的，因为我已经多次检查它们并相应地更新了系统缓存。

Django 现在不会加载或抛出任何错误，如果我尝试导入库，apache 也不会记录任何内容，它只会默默地失败……我已经探索这个问题 2 天了，但没有提出任何建议。

任何帮助将不胜感激。

只是在这里添加一些，自从最终修订和启动以来，服务器没有受到任何影响。

我检查了每一个表明对服务器进行某种类型攻击的日志，但什么也没有，唯一存在的是来自我的托管服务提供商的请求，这是有问题的错误首先开始出现的地方。

还有类似的问题：stackoverflow.com/questions/1099981/... - 在这种情况下不起作用。

万一有人想知道版本如下

我在 PHP cURL 方面拥有丰富的经验，但在过去的几个月里，我主要使用 HttpClient 库在 Java 中进行编码。

我的新项目要求我使用 Python，这又一次让我处于看似可比较的库的十字路口：pycurl 和 urllib2。

抛开我之前使用 PHP cURL 的经验，Python 中推荐的库是什么？是否有理由使用其中一个而不使用另一个？哪个是更受欢迎的选择？

Python 是否有提供 JavaScript 支持的屏幕抓取库？

我一直在使用pycurl处理简单的 HTML 请求，使用 Java 的HtmlUnit处理需要 JavaScript 支持的更复杂的请求。

理想情况下，我希望能够用 Python 做所有事情，但我还没有遇到任何允许我这样做的库。它们存在吗？

我需要下载一个受密码保护的页面上的文件。要手动访问该页面，我首先必须通过普通登录页面进行身份验证。我想使用 curl 在脚本中获取此页面。
我的脚本首先登录。它似乎成功了——它从 PUT 返回 200 到 /login。但是，获取所需页面失败，返回 500。

我正在使用“饼干罐”：

在详细模式下，当我获取所需的文件时，我可以看到正在交换的 cookie。现在我的问题是：使用 COOKIEJAR 还有更多吗？

我在 Intel Mac OS X 10.5 上运行 python 2.6

我正在尝试安装 pycurl 7.16.2.1（此处推荐http://curl.haxx.se/mail/curlpython-2009-03/0009.html），但由于某种原因，安装会看到我的 libcurl 7.16.3 ，但它仍然坚持我安装 7.16.2 或更高版本（7.16.3 不满足吗？）

这是错误输出：

可以肯定 curl-config --version 产生 libcurl 7.16.3

有什么建议吗？我应该升级 libcurl，还是坚持使用出厂默认库？

==回复后添加了更多细节==

AFAIK 我拥有的 python 是出厂默认设置（我自己不是从 python.org 得到的）

这是我的卷曲版本。看起来具有误导性，因为我使用的是英特尔 Macbook，而不是 PPC。

我将使用与我现有的 python 解释器一起使用的任何 pycurl

我确实有端口：

我有很大的 URL 列表，我必须并行下载并检查每个响应返回的标题之一。

我可以使用CurlMulti进行并行化。我可以/dev/null用作 fb，因为我对正文不感兴趣，只对标题感兴趣。

但是如何检查每个标题？

要接收标头，我必须设置 HEADERFUNCTION 回调。我明白了。

但是在这个回调函数中，我只得到带有标题的缓冲区。如何区分一个请求和另一个请求？

我不喜欢创建与 URL 一样多的回调函数的想法。我应该创建一些类和该类的尽可能多的实例吗？也不是很聪明。

我尝试了 urllib{2}、pycurl，并且正在查看 twisted 的新 http 客户端。但：

• 我发现 urllib2 很难执行文件上传
• pycurl multi 看起来不错但不符合 Python 标准
• twisted 的 http 客户端不支持长连接（没有检查文件上传能力）

还有其他选择吗？

好的，所以我需要使用 Python 下载一些网页并快速调查我的选项。

包含在 Python 中：

urllib - 在我看来，我应该使用 urllib2 来代替。urllib 不支持 cookie，仅支持 HTTP/FTP/本地文件（无 SSL）

urllib2 - 完整的 HTTP/FTP 客户端，支持最需要的东西，比如 cookie，不支持所有 HTTP 动词（只有 GET 和 POST，没有 TRACE 等）

全功能：

mechanize - 可以使用/保存 Firefox/IE cookie，采取跟随第二个链接等操作，积极维护（2011 年 3 月发布的 0.2.5）

PycURL - 支持 curl 所做的一切（FTP、FTPS、HTTP、HTTPS、GOPHER、TELNET、DICT、FILE 和 LDAP），坏消息：自 2008 年 9 月 9 日 (7.19.0) 以来未更新

新的可能性：

urllib3 - 支持连接重用/池和文件发布

已弃用（又名使用 urllib/urllib2 代替）：

httplib - 仅 HTTP/HTTPS（无 FTP）

httplib2 - 仅 HTTP/HTTPS（无 FTP）

让我印象深刻的第一件事是 urllib/urllib2/PycURL/mechanize 都是非常成熟且运行良好的解决方案。mechanize 和 PycURL 附带许多 Linux 发行版（例如 Fedora 13）和 BSD，因此安装通常不是问题（这很好）。

urllib2 看起来不错，但我想知道为什么 PycURL 和 mechanize 看起来都非常受欢迎，我是否缺少一些东西（即，如果我使用 urllib2，我会在某个时候把自己画到一个角落吗？）。我真的很想得到一些关于这些东西的利弊的反馈，这样我就可以为自己做出最好的选择。

编辑：在 urllib2 中添加了关于动词支持的注释

有没有办法为 pycurl 的 READFUNCTION 编写一个不返回字符串的回调函数？我计划通过 pycurl 发送二进制数据块。我尝试编写一个回调函数来执行此操作：

但是 pycurl 退出并显示返回类型必须是字符串的错误。