0

当您在服务器上创建带有链接规范文件的 Google 自定义搜索引擎 (CSE) 时，Google 的“FeedFetcher-Google-CoOp”机器人会请求该文件以构建 CSE。似乎即使在结果已返回给用户并且不再使用规范文件之后，谷歌仍会继续定期轮询它至少几天。

我的问题是，在您的 CSE 代码停止请求文件后，Google 将继续轮询文件多长时间，以及是否有任何方法可以强制它立即停止。

（我们创建了一个动态链接的 CSE，它对每个查询都是唯一的，这意味着请求了很多很多规范文件（每次使用不同 GET 参数的相同脚本）。现在我们不再使用它们，FeedFetcher-Google-CoOp 继续用过去的各种参数请求这个脚本。

FeedFetcher-Google-CoOp 会忽略 robots.txt。我们现在返回 410: Gone for all requests，但很难判断这是否有效，因为请求的版本太多（即：/script.php?query=）。理想情况下，无论参数如何，都会有某种方法告诉 Google script.php 不存在，但如果没有 robots.txt，我找不到这样做的方法。

TL;DR: 1) Google 最终会停止自行请求此脚本吗？如果有，什么时候？2）有没有办法立即停止它的请求？

4

1 回答 1

0

如果不理会，谷歌似乎将无限期地继续请求这些文件（至少几个月）。它忽略了 410 (gone) 响应，但它似乎尊重 301 重定向！因此，要阻止 Google 尝试请求过时的 CSE 规范，您可以 301 将它们重定向到空文件。Google 可能仍会尝试对其缓存的每组参数再次访问该文件，但此后应停止尝试。

于 2013-04-16T20:24:24.303 回答