问题标签 [pycurl]

我已经编写了代码来使用 pycurl 在谷歌上搜索一些东西。我希望能够使用 pycurl 来做到这一点，但非常感谢所有帮助。我正在寻找使用 pycurl 搜索一个术语然后“单击下一页按钮”或“单击底部的索引号”的功能，这样我可以获得的不仅仅是前 10 个网络结果。

提前致谢。

我是使用 Python 和 Pycurl 进行网页压力测试的初学者。但是，pycurl 会不断在终端中打印出返回的 html，这使得压力测试花费的时间比应有的更多。我正在使用的一个这样的 pycurl 代码发布在下面。有没有办法只运行 pycurl 而不必在任何地方打印或写入结果？任何帮助将不胜感激。

我在这里找到了类似于我想使用 urllib2 做的事情：如何使用 Python 登录网页并检索 cookie 以供以后使用？

他们的解决方案是：

如果可能的话，我想要这样的东西使用 pycurl。任何援助将不胜感激。

我正在尝试在 OS X 10.7 Lion 上具有 python 2.7 和 gcc-4.2 的本地环境中安装 PyCurl。我已经尝试根据这个答案执行此操作安装 PyCurl 时出错：

失败是因为我通过 Xcode 安装了 gcc-4.2：

我也尝试过下载源代码并构建 setup.py （我根据问题尝试在 Mac Snow Leopard 上安装 PyCurl 进行了修改）：

这会导致与上述相同的错误。我已经证实我确实有 gcc-4.2 并且它链接到我的 /usr/bin。

我认为如果我正确编译它会起作用，以便它知道在安装时使用 gcc-4.2 而不是 gcc-4.0。但是，我不知道该怎么做，也没有找到解释传​​递参数以使用特定 gcc 的内容。如果可能，我想避免覆盖系统默认值。

我一直认为执行HEAD请求而不是GET请求会更快（无论资源大小），因此在某些解决方案中具有优势。

然而，HEAD在 Python 中发出请求（对 5+ MB 动态生成的资源）时，我意识到它与发出GET请求的时间相同（几乎是 27 秒，而不是我希望的“不到 2 秒”）。

使用了一些 urllib2 解决方案来发出HEAD在此处找到的请求，甚至使用pycurl（设置headers和nobody到True）。他们两个都用了同样的时间。

我在概念上错过了什么吗？是否可以使用 Python 进行“快速”HEAD请求？

我正在使用 pycurl 从 Twitter Streaming API 中抓取数据。然而，几个小时后，连接就挂在那里了。

有没有办法检测到这个并退出程序？我知道 pycurl 有 TIMEOUT 和 CONNECTTIMEOUT，但这两个参数不适用。

我正在尝试使用 Python 连接到网站并获取 HTTP 状态代码。正如我对这个其他问题的回答所暗示的那样，google.com 等网站的 HTTP 状态代码为 301 或 302（永久移动）的原因是这些服务器正在重定向。但是，我希望能够以这样的方式连接到它们，以便从它们那里获得自然的 200（OK）。这是我当前的代码：

我需要更改/添加什么来实现这一点？我听说pycurl图书馆可能会帮助我解决这个问题，但到目前为止，谷歌搜索还没有带来任何有用的结果。我是这个领域的新手，所以如果问题微不足道，请原谅。

嗨，我希望我的爬虫使用 Pycurl 来使用 Tor。我怎样才能做到这一点？我知道如何使用 httplib

请帮忙。

我正在尝试编写一个 pycurl 脚本来访问安全站点（HTTPS）。

我收到以下错误..

pycurl.error: (60, 'SSL 证书问题，验证 CA 证书是否正常。详细信息：\nerror:14090086:SSL 例程：SSL3_GET_SERVER_CERTIFICATE:certificate verify failed')

代码失败，因为它未能获得 SSL 证书。

如果我将以下几行添加到我的代码中，错误就消失了。

上面的代码将跳过证书验证。但它受到“中间人”的攻击。

我知道我的本地证书存储中有 SSL 证书。有谁知道如何导出我的证书并使用我的代码.. 一些示例代码会很棒..

谢谢你的时间！

我们目前正在 PycURL 的帮助下从 Python 脚本触发 Jenkins 作业。然而，我们希望摆脱 PycURL 依赖，但迄今为止收效甚微。使我们的场景更复杂的是我们需要发布一个文件作为参数。我们当前发布请求的 PycURL 逻辑如下所示：

我们如何用标准 Python 库中的工具替换它？

我们之前尝试过，但不得不放弃，因为我们看不到如何成功上传文件，正如您从我关于该问题的问题中看到的那样。