问题标签 [urlfetch]

我正在尝试使用 Google App Engine 的 urlFetch 服务获取 URL 并实现代理站点。像 Twitter 和 Facebook 这样的网站看起来像缺少样式表一样毁容，甚至 Google 也缺少 Google 徽标，但 Yahoo 可以正常打开，我不明白为什么。

当我将代码更改为此：

它显示了一些奇怪的东西。我应该怎么办？

当我使用这个时：

该页面与我在 Google.com 看到的页面不同。

如何获取我看到的 Google.com？

我注意到在 Java 实现中同时异步调用 urlfetch 似乎是一个限制（如此处所述：http ://code.google.com/appengine/docs/java/urlfetch/overview.html ）

但不在 python 文档中：

http://code.google.com/appengine/docs/python/urlfetch/asynchronousrequests.html

那么，python 版本的 async urlfetch 是否也具有 10 的上限并且只是没有记录（或在其他地方记录）？还是限制是其他东西（或不存在）？

正在查询 urlfetch() 允许的 80 以外的端口上存在的 URL

我想从非标准端口上的服务器获取数据 -

http://example.com:8000/WebService?input=a

理想的示例是托管在非标准端口上的 Web 服务。

我可以用 appengine 以某种方式做到这一点吗？

我知道它urllib2在 Google App Engine 上可用作 Urlfetch 的包装器，并且如您所知，Universal Feedparser 使用 urllib2。

您知道在 urllib2 上设置超时的任何方法吗？
urllib2 上的timeout参数是否已移植到 Google App Engine 版本上？

我对以下方法不感兴趣：

我正在尝试使用 appcfg.py 将一些记录上传到我的本地数据存储

实际上只插入了少量记录，我得到以下输出（有大量错误）：

知道问题可能是什么吗？

我的 Gae 应用程序从第三方站点检索 JSON 数据；给定一个表示要下载的项目的 ID，该站点上的项目数据组织在多个页面中，因此我的代码必须逐页下载数据块，直到检索到最后一个可用页面的数据。
我的简化代码如下所示：

结果data_list是一个有序列表，其中第一项具有第 1 页的数据，最后一项具有最新一页的数据；this data_list，一旦检索到，就会在视图中呈现。

这种方法在 99% 的情况下都有效，但有时，由于 Google App Engine 施加的30 秒限制，对于包含许多页面的项目，我会感到害怕DeadlineExceededError。我想知道是否使用TaskQueue | 延期| AsyncUrlfetch我可以改进这个算法，以某种方式并行化 N 个 urlfetch 调用。

我尝试使用 AppEngine 中的 urlfetch 将 POST 数据发送到服务器。其中一些 POST 数据项具有相同的名称，但具有不同的值。

但是，在此示例中，服务器似乎只收到了一个名为 的项目data，其值为bar。我该如何解决这个问题？

阅读有关异步 URL 获取的 Google App Engine文档：

该应用最多可以同时进行 10 个异步 URL Fetch 调用

如果应用程序一次调用超过 10 个异步获取会发生什么？
Google App Engine 是否会引发异常或只是将剩余的呼叫排队等待为它们服务？

我正在尝试使用异步 URL 获取接口。但是当在生产环境中使用回调时，我得到一个 AssertionError。

这是由回调函数中的数据存储访问引起的吗？回调函数有什么限制？是否还有其他无法异步运行的 API？

这是堆栈...