问题标签 [urlfetch]

文档说（http://code.google.com/appengine/docs/java/urlfetch/overview.html#Request_Headers）：

这些标头由 App Engine 酌情设置为准确的值

X-Forwarded-For 的值是否包含 gae 应用程序的某些身份？

您将如何从 Google App Engine 应用程序查询 Picasa？数据 API 或 URL 获取？使用这两种方法的优缺点是什么？

[编辑]
我希望能够在 Picasa 中查询特定相册并列出其中的所有照片。非常感谢在 python 中执行此操作的代码示例。

在 Google App Engines 中，我得到了这段代码，它可以帮助通过 URL 获取任何网页的 HTML 代码：

我不明白这里的一件事（实际上是许多其他事情）为什么在这段代码中建议从 google.appengine.api 导入 urlfecth ？Python 本身没有这个命令吗？

当我在浏览器 (FireFox) (View->Page Source) 中查看页面源代码时，将其复制并粘贴到我的 HTML 编辑器中，我查看的页面几乎相同（在本例中为 www.google.com）因为它出现在我的浏览器中。但是当我通过这段代码获得 HTML 源代码时（通过 Googles App Engines）

复制它并将其粘贴到我的 HTML 编辑器中，然后页面看起来完全不同。为什么会这样？代码有问题吗？

++++++++++++++++++++++++++++++++++

跟进：

到现在（准确地说，格林威治标准时间，2009 年 12 月 13 日，星期日，下午 1:01），我收到了两个评论问题（来自Aaron和Christian P. ）和一个来自Alex Martelli的回答。

Aaron和Christian P.都在询问当 Fire-Fox 获得的源代码和 Google-App-Engine 获得的源代码都通过同一个 HTML 编辑器显示时，它们之间究竟有什么不同。

这里我也上传了屏幕截图：

一个显示了 Fire-Fox 获得的来源

另一个显示 Google-App-Engine-obtained来源

当它们都通过“MS Front Page”编辑器显示时。

一个非常明显的区别是不同的编码：在 Fire-Fox 代码中，所有内容都以英文显示，而在 Google-App-Engine 代码中，我得到了很多不同的符号。

另一个区别是 Google App Engine 代码中页面顶部的一些附加行。我认为，这就是Alex Martelli在他的回答中所说的（“……获取和打印方法也将包含元数据……”）。

另一个较小的区别是，谷歌图像的框在一个代码中被分成几个框，而在另一个代码中它保持完整。

Alex Martelli建议我使用这段代码（如果我理解正确的话）：

我已经尝试过了，但在这种情况下根本没有显示任何内容。

谢谢大家的回复，请继续回复——我真的很想看到这个问题最终得到解决。

++++++++++++++++++++++++++++++++++

跟进：

好的，问题已解决。

我没有完全注意Alex Martelli的说明，因此想出了一个错误的代码。这是他正确的一个：

此代码准确显示所需内容 - 页面顶部没有额外的行。

好吧，我仍然得到奇怪的符号，但我发现这可能是谷歌的问题。问题是我目前在台湾，谷歌似乎意识到了这一点并自动从 www.google.com （英文）切换到 www.google.com.tw （中文），但是这个，我猜，已经是另一个话题了。

感谢所有在这里回复的人。

我的应用程序需要对每个请求执行许多数据存储操作。我想并行运行它们以获得更好的响应时间。

对于数据存储更新，我正在执行批量放置，因此它们都是异步发生的，从而节省了很多毫秒。App Engine 最多允许并行更新500 个实体。

但是我还没有找到一个允许并行执行不同类型的数据存储获取的内置函数。

由于 App Engine 确实允许 urlfetch 调用异步运行，因此我为每种类型创建了一个 getter URL，它将查询结果作为 JSON 格式的文本返回。现在我的应用程序可以对这些 URL 进行异步 urlfetch 调用，这可以并行化数据存储区的获取。

此技术适用于少量并行请求，但 App Engine 在尝试同时运行超过 5 或 10 个此类 urlfetch 调用时会引发错误。

我现在只是在测试，所以每个 urlfetch 都是相同的查询；因为它们在少量的情况下工作正常，但由于同时请求的数量超过少数而开始失败，我认为它一定与异步 urlfetch 调用有关。

我的问题是：

1. 可以异步运行的 urlfetch.create_rpc() 调用的数量是否有限制？
2. 同步 urlfecth.fetch() 函数有一个“deadline”参数，该参数将允许函数在失败前等待长达 10 秒的响应。有没有办法告诉 urlfetch.create_rpc() 等待响应多长时间？
3. 下面显示的错误是什么意思？

4. 是否有更好的服务器端技术来并行运行不同类型的数据存储提取？

   文件“/base/python_lib/versions/1/google/appengine/api/apiproxy_stub_map.py”，第 501 行，在 get_result 中返回 self.__get_result_hook(self) 文件“/base/python_lib/versions/1/google/appengine/api /urlfetch.py​​", line 331, in _get_fetch_result raise DownloadError(str(err)) InterruptedError: ('The Wait() request was interrupted from an exception from another callback:', DownloadError('ApplicationError: 5 ',))

我注意到某些 Google 服务正在阻止来自 App Engine 服务器的请求，从而导致 urlfetch DownloadError。一个示例是 feedproxy.google.com 网址（例如http://feedproxy.google.com/~r/blabbermouth/~3/cAk78LX4gJE/news.aspx）。

这发生在我尝试过的所有应用程序上，包括我以前从未用于任何类型的 url 获取的应用程序 ID。此行为也不会在本地 SDK 上发生。这让我相信这是在发出请求时使用任何 GAE IP 地址的结果。

奇怪的是，它导致抛出 DownloadError，而不是成功检索到的响应中的错误 status_code。在本地使用 urlfetch 或 httplib 工作得很好，所以这个 DownloadError 我还没有理解，或者它只是一个错误，在这种情况下我会提交一张票。

有没有人在使用 GAE urlfetch 时遇到过以下异常？

我正在尝试发送 HTTP POST 请求。像这样：

我尝试将截止日期设置为最大值（10 秒）。来自命令行的请求（使用 curl 或 httplib2）大约需要一秒钟。

这是 curl 请求的开发应用服务器的输出（我正在使用 appengine-rest-server）：

这是我尝试使用 urlfetch 时的输出：

我正在尝试将 appengine 网站的一部分“模块化”，其中请求配置文件作为一小块预渲染的 html

向 /userInfo?id=4992 发送请求会发送一些 html，例如：

因此，从我的 google appengine 代码中，我需要能够在显示一群人时反复从该 URL 获取结果。

我现在唯一能做的就是发送一个 <iframes> 的集合，比如

iframe 用于请求数据。

我尝试使用urlfetch.fetch()但它一直对我超时。

我这样做对吗？我认为这会很方便（提供一段 html 的网址），但事实证明它看起来像一个设计错误。

在我的应用程序中，当我使用 urlfetch.fetch 函数获取指定的 url 时，我发现我得到的内容对于一些特殊的 html 代码是空的。

例如 真实html源码中的url： http ://www.club.cn.sodexo.com/node/5071，代码包括：

但根据我通过 url fetch 得到的结果：结果将是：

/* <![CDATA[ */和之间的所有javascript代码/* ]]> */都被遗漏了，这是如此连线。有谁知道这个问题？有可能解决这个问题吗？

我正在开发的产品运行在 Google App Engine 之上。它包含与此类似的代码：

这总是返回无。在文档中它说它将返回正确的 URL。但这似乎是个问题。我不能使用给定的 url，因为中间发生了很多 302。

任何人都知道如何解决相同的问题？