问题标签 [urllib]

我正在尝试从该网站保存更新的外汇代码数据：http: //forex.offers4u.biz/TickDBReadDB.php?p=EURUSD

只需点击刷新即可更新代码。

当我使用我的小 python 脚本时，它会保存一次文本，但如果我再次运行它，它会使用相同的旧数据创建一个新文件。如何添加“cachebreaker”以便 python 可以从旧 URL 读取新数据？

使用 Python2.4.5（不要问！）我想解析一个查询字符串并得到一个 dict 作为回报。我必须像下面这样“手动”做吗？

中没有找到任何有用的方法urlparse。

Gmail 有这样一个甜蜜的事情来获取原子提要：

现在，当您在浏览器中执行此操作时，它会验证并转发您。但是在 Python 中，至少我正在尝试的东西不能正常工作。

它没有正确转发，而是这样做：

这是不好的！我不应该再次输入用户名和密码！我怎样才能让它像在我的网络浏览器中一样在 python 中自动转发，这样我就可以在没有所有 BS 的情况下获取提要内容？

我一直在尝试使用 python 3 获取有关过期 ssl 证书的信息，但是能够获得尽可能详细的检查会很好。有接受者吗？到目前为止，我一直在尝试使用 urllib.request 来获取此信息（无济于事），这会让任何人感到愚蠢吗？

我已经看到一些使用旧版本 python 的类似工作示例，但没有使用 v3。 http://objectmix.com/python/737581-re-urllib-getting-ssl-certificate-info.html http://www.mail-archive.com/python-list@python.org/msg208150.html

当我使用 urllib2 通过 squid 代理建立 HTTP 1.1 连接时，squid 在 HTTP 1.0 中建立一个新的持续连接。

如何说服 Squid 与目标服务器对话 1.1？

我希望检索网站的来源，该来源是在单击链接时动态生成的。链接本身如下：

这使我无法直接查询允许我获取动态生成的网站 (urllib/2) 的 URL。

如何检索网站的来源，它是通过 python 使用上述函数（在 HTML 中）生成的？有没有绕过的方法return false" href="#"？或者onclick完全，并获得实际的 URL？

如果有另一种方法可以从上面的抽象链接生成网站，以便可以从 python 中的 urllib 中获取，请参考我。

编辑：

我概括了上面看到的代码 - 但是我被告知必须对特定的 javascript 进行逆向工程才能使用它。

链接到 .js - http://a.quizlet.com/j/english/create_setku80j8.js

链接到带有链接的网站：

网站实际网址：http: //quizlet.com/create_set/

以上相关.js的美化JS：http: //pastie.org/737042

上面的脚本工作并返回预期的结果，同时：

引发以下错误：

有人知道为什么吗？我在没有代理设置的家庭网络上从笔记本电脑上运行它 - 只是直接从我的笔记本电脑到路由器，然后到 www。

我在网上看到过一些线程下载器，甚至还有一些多部分下载器（HTTP）。

我还没有将它们视为一个类/函数。

如果你们中的任何人有一个类/函数，我可以将其放入我需要获取多个文件的任何应用程序中，我将非常感激。

如果有一个库/框架（或程序的后端）可以做到这一点，请指导我吗？

这是一个相关的问题，但我不知道如何将答案应用于 mechanize/urllib2: how to force python httplib library to use only A requests

基本上，给出这个简单的代码：

这导致wireshark说以下内容：

那是5秒的延迟！

我的系统中的任何地方都没有启用 IPv6（gentoo 用 编译USE=-ipv6）所以我认为 python 没有任何理由尝试 IPv6 查找。

上面引用的问题建议明确设置AF_INET听起来不错的套接字类型。我不知道如何强制 urllib 或 mechanize 使用我创建的任何套接字。

编辑：我知道 AAAA 查询是问题，因为其他应用程序也有延迟，一旦我在禁用 ipv6 的情况下重新编译，问题就消失了……除了在 python 中仍然执行 AAAA 请求。

urllib在 Python 中，urllib2、urllib3和requests模块之间有什么区别？为什么有三个？他们似乎在做同样的事情......