问题标签 [urlfetch]

如何确定从哪个 url 收到响应？

我用 nutch 1.3 抓取网站。现在我想从 crawldb 中删除一个 url，我该怎么做？我如何从 crawldb 中读取？我想查看 crawldb 中存在的 url。

我想建立一个谷歌融合表的图表。我知道有一个选项可以使用 fusion table 来完成，但我需要使用 google 电子表格来完成。

如何将私有融合表导入电子表格？

上面的代码只给了我表格标题。

我正在从我的新闻流中获取数据来过滤它。这需要 Facebook 有时超过 5 秒。我遇到了url_fetch()Google App Engine 的超时。

现在有什么办法可以解决这个超时问题或提高 Facebook 回复我请求的速度吗？这是我得到例外的部分：

我正在使用谷歌应用引擎的 urlfetch 功能远程登录另一个网络服务。在开发中一切正常，但是当我转向生产时，登录过程失败。您对如何调试生产 URL 获取有任何建议吗？

我在我的 URL 获取中使用了 cookie 和其他标题（我在标题中手动设置了 cookie）。其中一个 cookie 是会话 cookie。

没有错误或异常。在生产中，向 URL 命令发布登录会返回会话 cookie，但是当您使用会话 cookie 请求页面时，它们会被忽略，并且会再次提示您输入登录信息。在开发中，一旦您获得会话 cookie，您就可以正常访问内部页面。我认为问题与保存 cookie 有关，但它们看起来是正确的，因为请求几乎相同。

这就是我所说的：

以下是对问题的一些猜测：

• google 的 url fetch 实现的分布式特性把事情搞砸了。
• 在生产中，标头的发送顺序与开发中不同，这可能会使服务器感到困惑。
• 谷歌的一些服务器被目标服务器列入黑名单。

以下是我排除的一些假设：

• 谷歌缓存太激进了。但是在使用标头 Cache-Control: no-store 关闭缓存后我仍然遇到问题。
• Google 的 urlfetch 对目标服务器来说太快了。但是在通话之间插入延迟后我仍然遇到问题。
• Google 将一些数据附加到 User-Agent 标头。但是我已将该标题添加到开发中，但我没有遇到问题。

生产 URL 获取和开发 URL 获取之间还有哪些其他区别？你有什么调试这个的想法吗？

更新 2

（第一次更新包含在上面）我不知道这是否是我做的事情（可能会添加延迟或禁用上面提到的缓存），但现在生产环境大约有 50% 的时间工作。这绝对看起来像一个竞争条件。不幸的是，我不知道问题出在我的代码、google 的代码还是目标服务器的代码中。

我想从用户输入的任何外部 URL 中获取（标题、某些描述）等数据。

就像在 facebook 中一样，当我们复制一个外部 url 时，它会从该 url 中获取一些信息。

有什么办法可以通过一些 jquery 插件或其他东西在客户端进行操作......？

编辑：就像在 facebook 状态中说的那样，我复制“www.stackoverflow.com”，它会从中获取标题以及更多信息；我需要有非常相似的东西。是否有任何 jquery 插件可以从 url 获取类似的基本信息...

我想知道 Google App Engine URL Fetch Python API是否不支持访问具有凭据的 URL：

它应该是一个基本功能，但我无法让它工作，也找不到任何关于它是否支持的文档。

我在将数据从 Web 服务加载到数据存储区时出错。问题是从 Web 服务返回的 XML 包含 UTF-8 字符，并且应用引擎无法正确解释它们。它将它们呈现为??。

我很确定我已经将此追溯到 URL Fetch 请求。基本流程是：任务队列 -> 获取 Web 服务数据 -> 将数据放入数据存储区，因此它绝对与主站点的请求或响应编码无关。

我在 Apache Digester 之前和之后放置了日志消息，看看这是否是原因，但确定不是。这是我在日志中看到的：

来自 XML 的字符串：“Doppelg��nger”

蒸煮处理后：“Doppelg??nger”

这是我的 url 获取代码：

有没有办法可以强制将输入识别为 UTF-8。我测试了我正在加载的页面，W3c 验证器将其识别为有效的 utf-8。

该问题仅在应用引擎服务器上，它在开发服务器中运行良好。

谢谢

我的应用程序需要尽可能多的 IP 才能使其运行，谷歌 appengine urlfetch 服务一直在更改 IP，但我仍然在一个很小的范围内（我的测试），如何获得更多 urlfetch 服务 IP？

我尝试注册更多的appids和google帐户，但它不起作用，IP在同一范围内。

我该怎么做才能解决这个问题？谢谢！

问题是，当我在开发环境（谷歌应用引擎的本地服务器）中使用 urlfetch.fetch(...) 执行 POST 请求时，我得到了 HTTP 302 状态，正如我所料（我可以进行重定向）。但是当我上传应用程序并尝试从 .appspot.com 运行它时，然后使用 403 获取响应，即“禁止”。

细节：

• 网址是 https（我的银行网站）
• 请求标头中有 cookie
• .. 还有什么 ？

看起来，远程站点（银行）以不同的方式看到 2 个请求：本地可以，“来自 goole”不可以。

我的python代码：

Link_HTMLParser 是用于获取框架源链接的简单解析器（如果您查看 url1 的第一个响应内容，它就会变得清晰）：

问题在于第二个响应：它的 403 来自谷歌，200 来自本地 gae serwer。我在问题的开头提到了一个 POST，但似乎无论使用哪种方法（GET 或 POST）都会出现问题。我猜这是一些会话管理问题..