问题标签 [urlfetch]

是否有任何使用 java.net.URLConnection 类的 Clojure http 库？我问的原因是，根据文档，这是在 Google App Engine 上建立 http 连接的唯一可接受的方式。

我目前正在使用com.twinql.clojure.http来处理我的 GET 请求，但我不认为它使用了正确的接口，因为我在建立连接时遇到了这个错误：

Google App Engine UrlFetchService 有一个 setDeadline FetchOption，它假设在触发时会引发异常。

应用程序可以指定呼叫时等待的最长时间。如果超过最大等待时间，调用会引发异常。

哪个例外？

如果是 IOException，我应该如何区分截止时间超时和其他原因？

我正在尝试在谷歌应用程序上构建某种网络服务。

现在的问题是，我需要从网站获取数据（HTML Scraping）。

请求看起来像：

现在 App Engine 在第 3 行给了我以下异常：

这是因为最大请求限制为 1mb，页面的总 HTML 约为 1.5mb。

现在我的问题是：我只需要抓取 html 的前 20 行。有没有办法只获取 HTML 的一部分，这样 ResponseTooLargeException 就不会被抛出？

提前致谢！

这是我的代码：

错误是：

所以我找不到错误，

你是否 。

谢谢

Google App Engine 将urlfetch.fetch()响应限制为1MB。是否有任何解决方法（可能切换到付费版本）？

我正在使用 Python，如果可以提供一个很棒的示例。

我想从网页中获取数据，其中包含一些 json 数据。问题是，json 数据只有在用户登录网站时才会返回。如果不是，则返回登录页面。

所以，result我期待有 json 数据。但我在那里有一个登录页面。我尝试从浏览器登录，但没有帮助。

如何使用浏览器中的 cookie 来访问此登录页面？

我的应用程序引擎的版本是 1.4.0。数据 dem.bil 位于 /war/dem.bil 目录下。这些是我获取 3M 数据 dem.bil 的代码：try{ URLConnection a = url.打开连接（）；输入流 b = a.getInputStream(); int len = a.getContentLength(); if (len < 0) { 返回空值；} //System.out.println("总计："+len); 字节[] c = 新字节[len]; b.read(c,0,len); 返回 c; }catch (Exception e) { e.printStackTrace(); 返回空值；} }

我知道版本 1.4.0 将 URLFetch 响应限制增加到 32MB，但是当它进入 InputStream b = a.getInputStream(); 它的调试是“com.google.appengine.api.urlfetch.ResponseTooLargeException：来自 url localhost:8888/dem.bil 的响应太大。”。所以有人可以告诉我为什么吗？或者我的代码有问题吗？

要在应用程序引擎中获取超过 1M 的数据，我使用范围标头，然后组合这些部分。和我的代码：

但是当它进入“InputStream in=con.getInputStream();”时，它的调试是“URL Fetch Response too large questions”所以我不知道这些代码有什么问题。还有其他方法可以 fetch() 超过 1M 吗？

我在我的应用程序中使用 urlfetch，虽然在开发环境中一切正常，但我发现 urlfetch 在实际部署时非常不可靠。有时它会正常工作（检索数据），但几分钟后它可能什么也没有返回，然后几分钟后它会再次正常工作。这是非常不可接受的。我已经检查以确保问题不是源 URL (YQL)，而且在开发环境中一切正常。

有没有我可以尝试的第三方库？

示例代码：

有时它会正常工作，但其他时候 - 完全随机，没有代码更改 - 我会得到这个错误：

我在使用谷歌应用程序引擎和谷歌电子表格时遇到问题。我使用另一个 servlet（通过 google ClientLogin）获取授权令牌，然后尝试使用 GET 请求和 Authorization 标头获取电子表格提要 xml（如 google 文档所述）。

我的 servlet 如下所示：

}

我可以正确获得令牌，但是当我尝试执行第二个请求以获取电子表格提要时，我收到错误 400 Bad Request 并且如果我重试重新加载此错误：

似乎只有第一个请求有效......事实上，如果我评论第二个请求并获取令牌然后评论第一个请求并使用手写令牌执行第二个请求我正确地拥有电子表格提要 xml 输出......

为什么我不能执行两个后续请求？