问题标签 [urlopen]

urllib2 文档说超时参数是在 Python 2.6 中添加的。不幸的是，我的代码库一直在 Python 2.5 和 2.4 平台上运行。

有没有其他方法可以模拟超时？我想做的就是让代码与远程服务器通话一段固定的时间。

也许任何替代的内置库？（不想安装第 3 方，如 pycurl）

我想告诉urllib2.urlopen（或自定义开瓶器）使用127.0.0.1（或::1）来解析地址。但是，我不会改变我/etc/resolv.conf的 .

一种可能的解决方案是使用诸如dnspython查询地址和httplib构建自定义 url 打开器之类的工具。不过，我更愿意告诉urlopen使用自定义名称服务器。有什么建议么？

我在创建使用 URL 的脚本时遇到了一些麻烦。我正在使用 urllib.urlopen() 来获取所需 URL 的内容。但其中一些 URL 需要身份验证。urlopen 提示我输入我的用户名和密码。我需要的是忽略每个需要身份验证的 URL，只需轻松跳过它并继续，有没有办法做到这一点？我想知道捕获 HTTPError 异常，但实际上，异常是由 urlopen() 方法处理的，所以它不起作用。

感谢您的每一个回复。

我正在使用urllib2'surlopen函数尝试从 StackOverflow api 获取 JSON 结果。

我正在使用的代码：

我得到的结果：

我对 urllib 还很陌生，但这似乎不是我应该得到的结果。我已经在其他地方尝试过，我得到了我的期望（就像用浏览器访问地址给我一样：一个 JSON 对象）。

urlopen在其他网站（例如“ http://google.com ”）上使用效果很好，并给了我实际的 html。我也尝试过使用urllib，它给出了相同的结果。

我很困惑，甚至不知道在哪里可以解决这个问题。有任何想法吗？

每当查看 Python 的 API 库时，似乎有大约一半只是使用：

大约一半使用：

我倾向于认为第二个版本“更酷”（我偏向于对大多数事情采取更 OO 的方法）。

使用其中一个是否有好处或理由。或者，我是否在此过程中遗漏了什么。我怀疑它的实现中urllib2.urlopen使用HTTPSConnection了它，所以也许我代表我的编码更少。无论哪种方式，我都希望得到一些反馈。谢谢。

下面是我在论坛上找到的脚本，它几乎正是我所需要的，除了我需要阅读 30 个不同的 url 并将它们全部打印出来。我尝试了几个选项，但脚本只是中断了。我怎样才能合并所有 30 的 url，解析，然后打印出来。

如果你能帮助我，我会非常感激，ty。

我正在尝试使用 devserver 将数据从 CSV 上传到我的应用程序：

结果：

我随后尝试转移的实体数量在 200-850 之间。

这里发生了什么？通常这工作正常。导航到http://localhost:8083/工作，应用程序运行良好。（除了缺乏数据。）

对于以下代码

我收到以下错误

有任何想法吗？？？

Greetings,

I have done:

but it doesn't compare to viewing the source when loaded in firefox.

I suspected the user agent and did this:

and downloaded it, but it still doesn't download the whole website.

Can someone please help me do user agent switching, if that is the likely culprit?

Thanks, Narnie

大家好，我有一个为最终用户查找信息的网站，它是用 Python 编写的，并且需要几个 urlopen 命令。因此，加载页面需要一些时间。我想知道有没有办法让它更快？有没有一种简单的 Python 缓存方法或一种让 urlopen 脚本最后变得有趣的方法？

urlopens 访问 Amazon API 以获取价格，因此该站点需要保持最新状态。我能想到的唯一选择是制作一个脚本来制作一个 mySQL 数据库并不时运行它，但这会很麻烦。

谢谢！