问题标签 [urlopen]

我是 Python 和 Django 的新手，我正在尝试通过 http post 将数据传递到一个简单的 Web 应用程序。我浏览了 Django 教程，对所教的内容有一个不错的理解，但我并没有完全过滤掉 urls.py 正则表达式。我已成功使用 urlopen() 作为 http get。使用它来发布并不是那么成功。好像我的应用程序 urls.py（不是项目 urls.py）不允许 POST 访问我的应用程序 views.py。最终，我想通过 POST 获取我被动的数据并将其返回到我的响应中。这是我所拥有的：

我的项目 urls.py：

数据接收器/ urls.py：

数据接收器/views.py

客户端

服务器端错误：

异常 AttributeError: AttributeError("'_DummyThread' 对象没有属性 ' Thread _block'",) 被忽略 [02/Apr/2013 05:15:57] "POST /datasink HTTP/1.1" 500 54048

客户端消息：

我们未能到达服务器。原因：内部服务器错误

任何指导将不胜感激。我一直在尝试各种正则表达式……不走运。

我正在尝试编写一个 Python 程序来处理 RSS，但是我在直接从 Internet 下载文件时遇到了一些问题。

我正在使用 urllib.request.urlopen() 来获取文件。这是我遇到问题的代码：

我已将问题追踪到一行：

问题行（发现是多次暂停执行时出现的唯一行）：
Python33\Lib\http\client.py 第 317 行

我可以继续编写代码，但前提是我通过 Step Over 照看它，直到我回到我的代码。

在我的测试中，这个问题从未发生过，所以我不知道为什么我现在得到它。

提前感谢您的帮助！

编辑：来源可以在这里找到。我很久以前就失去了从事这个项目的动力，从那以后就再也没有碰过它。如果我有更多的动力，我可能会重做整个事情，但我预计不会很快。如果您想回答，我邀请您参加，这可能对其他人有益。但是请注意，代码很糟糕，因为当时我的经验相对较少。我真的找不到解决办法，但我发现你必须查看 data/code/functions.py

另请注意，据我所知，它并没有调用错误，只是程序在我不耐烦之前一次挂起几分钟。

由于已弃用，我正在尝试使用 shutil/urlopen 下载图像？我不确定它是否已弃用，但 urlretrieve 不会下载文件，它只是创建图像名称的文件夹。在查看了其他问题后，我看到了一个提供此代码的问题，但我也收到了一个错误。

输出

我想检查某个网站是否存在，这就是我正在做的事情：

如果页面不存在（错误 402 或任何其他错误），我可以在该page = ...行中做些什么来确保我正在阅读的页面确实退出？

我需要定期从以下形式的网站访问和解析 XML 数据：

由于数据的安全性，我无法发布实际连接。当我将此 url 放入我的浏览器 (Safari) 时，我会返回 XML。

当我通过 urllib2 调用它时，我得到了垃圾。

This post Urllib's urlopen break on some sites (eg StackApps api):returns垃圾结果似乎是一个类似的问题，但它指的是JSON而不是XML。按照查看标头的说明，我认为我正在返回 GZIP 数据。{我做了建议的测试，张贴在这里}

在那篇文章中，有人建议这可能是本地问题，所以我尝试了一个示例站点。

这工作得很好，所以我认为它与我实际尝试访问的站点 API 有关。

这篇文章为什么从页面中检索到的文本有时看起来像乱码？建议我可能需要对“Selenium”做一些事情，但后来发布者说问题“自行解决”，这并不能帮助我找出问题所在。

我不能使用 python 下载安全数据吗？除了 urllib2 和 url open 之外，我还需要使用不同的东西吗？

我在 Mac OSX 10.7.5 上运行 python 2.7

我正在使用BeautifulSoup进行网络抓取，并且在使用urlopen时遇到了特定类型的网站问题。网站上的每件商品都有自己独特的页面，并且商品有不同的格式（例如：500 mL、1L、2L...）。

当我使用 Internet 浏览器打开产品的 URL ( www.example.com/product1 ) 时，我会看到 500 mL 格式的图片、有关它的信息（价格、数量、风味等）和列表此特定项目可用的所有其他格式。如果单击另一种格式（例如：1L），图片和有关该项目的信息会发生变化，但我浏览器顶部的 URL 将保持不变（www.example.com/product1）。但是，通过检查页面的 HTML 代码，我知道所有格式都有自己唯一的 URL（500 mL：www.example.com/product1/123；1L：www.example.com/product1/456，...）。在我的 Internet 浏览器中使用 1L 格式的唯一 URL 时，我会自动重定向到页面www.example.com/product1但页面上显示的图片和信息对应于 1L 格式。HTML 代码还包含我需要的有关 1L 格式的信息。

当我使用urlopen打开这些唯一的 URL 时，我的问题就出现了。

汤中包含的信息与使用我的 Internet 浏览器显示的唯一 URL 信息不对应：www.example.com/product1/456。它为我提供了有关www.example.com/product1上默认显示的项目格式的信息，该格式始终为 500 mL 格式。

有什么方法可以阻止这种重定向，让我可以使用 BeautifulSoup 捕获包含在唯一 URL 的 HTML 代码中的信息？

我正在运行一个Python代码，它读取 URL 列表并使用urlopen单独打开每个 URL 。某些 URL 在列表中重复。该列表的一个示例类似于：

• www.example.com/page1
• www.example.com/page1
• www.example.com/page2
• www.example.com/page2
• www.example.com/page2
• www.example.com/page3
• www.example.com/page4
• www.example.com/page4
• [...]

我想知道是否有一种方法可以实现一个计数器，它可以告诉我代码之前打开了多少次唯一 URL。我想得到一个计数器，它将返回列表中每个 URL 以粗体显示的内容。

• www.example.com/page1：0 _
• www.example.com/page1 : 1
• www.example.com/page2：0 _
• www.example.com/page2：1 _
• www.example.com/page2：2 _
• www.example.com/page3：0 _
• www.example.com/page4：0 _
• www.example.com/page4：1 _

谢谢！

我正在尝试使用 python 在网页中查找一些单词（只是为了练习），但我一直遇到问题。就是这个：

它在最后一行刹车，给我一个错误（一个常见的错误）；

关于如何防止或忽略这一点的任何想法？

我有一个关于 Python 2.7 的问题。该urlopen功能有时会因网络状况不佳而无法连接。所以我想在它上面加一个定时器，这样当连接超时时，它会关闭之前的连接并尝试重新连接。在我的实现中，它会陷入死循环，一次又一次地“尝试重新连接”......有人可以帮我吗？非常感谢你！

这是我得到的例外：

我正在尝试通过我尝试访问的 API 进行身份验证。我正在使用 urllib.parse.urlencode 对进入我的 URL 的参数进行编码。我正在使用 urllib.request.urlopen 来获取内容。

这应该从服务器返回 3 个值，例如：

问题是它只返回第一个值和尾随的换行符。

然后味精打印

我知道那是一些非常丑陋的代码，我在 Python 中大约一周大。任何帮助将不胜感激。