0

好的，我有一个网站，其中包含一系列按钮，这些按钮调用 api 来返回与产品相关的信息。我遇到的问题是谷歌大约每 10 分钟访问和跟踪一次 api，这意味着我每天要进行大量的查找。

我可以阻止谷歌机器人这样做吗？

我有一个 robots.txt 文件，没有关注元数据，但他们似乎没有做太多。

任何意见，将不胜感激。

   User-Agent: *
  Disallow:/index/
  Disallow /manufacturer/

我只是注意到页面没有扩展，即制造商应该是manufacturer.php

谢谢

4

1 回答 1

0

Google 网站管理员工具将为您分析您的 robots.txt，并让您知道它的用途。过去我发现它非常有用。您可以粘贴您的 robots.txt，它会指出任何缺陷。

如果没有，您可以访问论坛。

于 2012-11-21T18:52:57.713 回答