问题标签 [urlfetch]

在 Google App Engine 上使用 urlfetch 时，有没有办法指定代理服务器？

具体来说，每次我使用 urlfetch 拨打电话时，我都希望 GAE 通过代理服务器。我想在生产中做到这一点，而不仅仅是开发。

我想使用代理，因为使用 google 的出站 IP 地址存在问题（速率限制、无静态出站 IP、有时被列入黑名单等）。如果您可以编辑 http 消息本身，设置代理通常很容易，但 GAE 的 API 似乎不允许您这样做。

我们有两个 AppEngine (Java) 应用程序。其中一个使用 URLFetch 到另一个来创建约会。在接收器中，我们添加了一个功能，我们使用 Channel API 查看是否有任何打开的通道并让他们知道新数据。

URLFetch 调用失败并出现 SocketTimeoutException。接收器中的所有代码都已执行（包括通知所有打开的通道），但调用应用程序仍会收到 SocketTimeoutException。当我注释掉频道通知行时，没有错误。

这只发生在已部署的应用程序中，而不是在开发模式下。此外，调用不会接近 URLFetch 允许的 60 秒（甚至旧的 10 秒）超时。

为了能够在有人点击/show_data/我的服务的 url 时构建获取响应，而我正在构建它，我想/retrieve_data/从同一个服务中获取 url。如何在不同的线程中启动它，这样我就可以避免收到的 DeadLineExceeded 错误？我正在使用 python 2.7，带有threadsafe=true.

所以我有这样的/show_data/处理程序：

我收到以下错误：

检查了我的代码，并记录了一些不同的东西，导致这个错误的 url 看起来很正常。它们通过 urllib.quote 被引用并通过浏览器访问它们会产生正常结果。

该错误发生在许多 URL 上，而不是一个。URL 指向 API 服务，并在应用程序中构建。

顺便说一句，这是 google.appengine.api.urlfetch 源代码的链接：http ://code.google.com/p/googleappengine/source/browse/trunk/python/google/appengine/api/urlfetch.py​​?r =56。

文档字符串说错误应该在以下情况下发生：“如果 url 无效，则发生 InvalidURLError。” 和“如果 URL 是空字符串或明显无效，我们会抛出 urlfetch.InvalidURLError”

只是为了让那些想要测试它的人变得简单：

这是回溯： Traceback（最近一次调用最后一次）：文件“”，第 1 行，在文件“/Applications/GoogleAppEngineLauncher.app/Contents/Resources/GoogleAppEngine-default.bundle/Contents/Resources/google_appengine/google/appengine/api /urlfetch.py​​”，第 263 行，在 fetch 中返回 rpc.get_result() 文件“/Applications/GoogleAppEngineLauncher.app/Contents/Resources/GoogleAppEngine-default.bundle/Contents/Resources/google_appengine/google/appengine/api/apiproxy_stub_map. py”，第 592 行，在 get_result 返回 self.__get_result_hook(self) 文件“/Applications/GoogleAppEngineLauncher.app/Contents/Resources/GoogleAppEngine-default.bundle/Contents/Resources/google_appengine/google/appengine/api/urlfetch.py​​” ，第 359 行，在 _get_fetch_result 中引发 InvalidURLError(str(err)) InvalidURLError：应用程序错误：1

我想知道我在这一切中是否缺少一些非常简单的东西。非常感谢您的意见和想法。谢谢！

我正在尝试加载一个 url，但我收到了这个错误：

DownloadError: ApplicationError: 2 重复重定向太多

这是我正在使用的代码：

我检查了这个网站的重定向：http: //www.internetofficer.com/seo-tool/redirect-check/ ，我发现这个网站被重定向到它自己！所以 url fetch 似乎在试图加载这个页面。同时，这个页面在我的浏览器中加载得很好。

所以我尝试使用这段代码：

但这只是什么都不返回。有没有办法得到这个html？！

我正在尝试加载一个重定向到自身的 url。我假设它正在加载一个 cookie 并在寻找它，但它从来没有看到它，所以存在这个无限循环的请求。

我试过 urllib2、urlfetch 和 httplib2。没有工作。

我试过这个：

这适用于 shell，但不适用于 Google App Engine。在 urlfetch 的文档中： http ://code.google.com/appengine/docs/python/urlfetch/fetchfunction.html

在 follow_redirects 下，它说：“重定向时不处理 cookie。如果需要处理 cookie，请将 follow_redirects 设置为 False 并手动处理 cookie 和重定向。”

我不知道如何做到这一点，文档似乎也没有提供任何线索。

我用谷歌搜索了这个问题，没有报告过这样的问题可以解决我的问题。

异步 URLFetch 是摆脱 App Engine 沙箱的最快机制吗？

http://ikaisays.com/2010/06/29/using-asynchronous-urlfetch-on-java-app-engine/

过去我们经历过非常慢的 URLFetches，但认为 Pull Queues 会引入太多延迟。

我们的 Google App Engine 应用需要近乎实时地发送 UDP 消息。由于 App Engine 仅支持端口 80 上的 HTTP，我们计划使用 HTTP POST 到 EC2/Rackspace 实例，然后再发送 UDP 消息。

[编辑]

我正在使用 Google App Engine，我正在尝试解析 HTML 内容以提取一些信息。我正在使用的代码是：

这段代码会产生一个带有奇怪字符的响应。我试过使用 BeautifulSoup 库的 prettify() 和 renderContent() 方法，但没有效果。

有什么解决办法吗？再次感谢。

在我网站的某些部分，我将允许用户输入 URL。我正在研究appengine，所以我想的是像这样验证它。

好处

• 自动检查 url 模式
• 还确保网址没有损坏，加载时间不超过 1 秒，有助于确保在单击我的网站上的链接时获得良好的用户体验。

我可以看到可能的缺点：

• 请求必须等待获取完成。这可能不是什么大问题，因为用户可以输入 URL 的情况很少（目前仅在注册时）。

我需要在有限的时间内获得近 100 页并将结果代码作为响应发送回来。Google Apps 一次有 10 个异步请求的限制。我正在考虑队列，但它们在后台工作，也许计费应用程序可以提供帮助？这是我的代码，当有超过 14 个 urls[] 时，它会失败：

_get_fetch_result 中的文件“/base/python_runtime/python_lib/versions/1/google/appengine/api/urlfetch.py​​”，第 371 行引发 DeadlineExceededError(str(err)) DeadlineExceededError: ApplicationError: 5