问题标签 [urlfetch]

我正在 Eclipse 中使用 GWT 做一个 Web 应用程序项目。

我在客户端有一个文件，它将在 project.server 上发送并从服务器发送到外部存储库。

我使用默认的 SDK -(appengine-java-sdk-1.6.3.1- 1.6.3)

根据文档googleappengine ，URL 获取请求的限制是5Mb.

** 但我无法获取超过 3.8Mb 的请求 **

如果我尝试获取超过 3.8 Mb 的数据，那么它会给我一个错误。

有人可以解释一下这个原因。

即使我必须从存储库下载文件并将其保存在客户端。

那么，将存储库中存在的文件的内容获取到服务器端是否有任何大小限制。

请帮忙，澄清这个问题，我现在在很多网站上都看到过，你输入网址，它会带回标题和描述以及图像（例如facebook），他们是怎么做到的？通过本地主机上的 ajax 尝试，我遇到了同源策略问题。

如果不是 ajax，你可以在服务器端（php 或 .net）使用网络流吗？

我查看了stackoverflow并找不到答案。谢谢你。

每当我在 GAE 上使用 urlfetch 请求外部 URL 时，都会收到以下警告：

我理解为什么会发生这种情况，并且我将无法阻止根本问题。有没有办法可以抑制这个警告，以免它阻塞日志？当然，我仍然想知道 urlfetch 想要记录的任何其他警告/错误。

我是 google appengine java 的新手。我很难在其中创建一个网络爬虫。我正在考虑和研究的一种解决方案是使用 urlFetch() 访问 books.google.com。我需要输入一本书的某个 isbn，应用程序将获取该书的详细信息（标题、作者等）。是否可以使用 urlFetch()？感谢您的建议。:)

关于确定文本文件和网页的字符编码的讨论很多。

对于网页，似乎最好/最简单的方法是使用一个库，该库将 Url 作为输入并返回正确编码的字符串。由于库正在获取文档，因此它可以使用 HTTP 标头来帮助确定编码。

1. http://htmlcleaner.sourceforge.net/download。
2. 你如何以编程方式在 Java 中下载网页
3. 使用java在网页中进行字符编码
4. http://docs.oracle.com/javase/6/docs/technotes/guides/intl/encoding.doc.html

如果我们想使用 UrlFetch 获取文档，特别是异步 api，最好的方法是什么，库？用于确定编码。

是否有任何库与异步 urlfetch 集成（或可以轻松修改以集成）？

以下内容在本地有效，但在部署时无效：

部署时会抛出以下错误：

它可能与这个问题有关：部署到 appengine 时的 freebase api 错误：DownloadError: ApplicationError: 2在这种情况下，向请求中添加 api 密钥可以修复它。虽然我尝试添加密钥（使用 urlfetch）导致错误：

我注册了 freebase 服务并将浏览器应用程序的简单 API 密钥添加到查询中：'&key=apikeystringhere'。我已将关键问题添加为单独的问题：Setup api key for freebase queries from appengine

我正在尝试发布到期望使用 Google Apps 脚本将 JSON 作为有效负载的网络服务。我正在使用以下代码：

在服务器端，我收到以下错误：

我假设服务器期望得到

代替

但我不知道如何UrlFetchApp做到这一点。

我有一项延迟任务来格式化 HTML 中的正文电子邮件，对我自己的应用程序域执行 UrlFetch：

我将一些参数传递给 servlet formatEmail 以制作一封可爱的 HTML 电子邮件。.. :) 此代码工作正常，创建一个新的推送任务，并成功发送电子邮件。

问题是这个任务总是 100% 的时间创建一个新实例，即使没有任何用户访问，以使这个艰巨的任务和实例在代码结束时关闭。

如何避免这种情况？

如果我对外部域而不是我自己的域进行 UrlFetch，通常 GAE 不会为此创建新实例.... 不奇怪吗？

我收到此错误：序列化延续时出现意外异常（帮助不大）

它是由 FetchUrlApp.fetch(); 称呼。我 akm 使用 Google Apps Script for Sites，而不是 Google 电子表格。该代码在原始实例中有效，但是一旦我将代码复制并粘贴到一个新项目中，我就会收到上述错误消息。我正在访问 Google Docs API。我在其他论坛上读到我需要授权，但我无法获得正确的授权以使代码正常工作。当我第一次运行代码副本时，不会弹出任何提示。

代码发挥：

提前谢谢你，詹姆斯克里姆

Ubuntu 12.04 有一个关于 openssl 的开放错误。如果您尝试连接到不支持 TLS 1.2 的主机（例如 Evernote），您会收到“EOF 违反协议”。见https://bugs.launchpad.net/ubuntu/+source/openssl/+bug/965371

在对该错误的评论中，httplib.py 有一个解决方法，其中强制使用 TLS 1.1。不幸的是，这不适用于 GAE SDK，因为它使用自己的基于 urlfetch 的自定义 httplib。

如何强制 urlfetch 使用 TLS 1.1 或以其他方式解决此错误？当我将我的应用程序上传到 GAE 时，它工作正常，所以我只需要对我的 SDK 进行本地修复。我曾尝试用 Python 2.7 中的已修补库存 httplib.py 替换自定义 httplib.py，但这只会导致进一步的问题，因为该模块需要 ssl 和套接字，而后者又需要另一个操作系统等。

编辑：回溯的最后一部分：

问题在于 Ubuntu 12.04、Evernote 的服务器/SDK 和 Google App Engine SDK 的组合。