robots.txt - 如何禁止 robots.txt 中的特定页面

Question

我正在我的网站上创建两个非常相似但用途不同的页面。一是感谢用户发表评论，二是鼓励用户订阅。

我不想要重复的内容，但我确实希望页面可用。我可以将站点地图设置为隐藏吗？我会在 robots.txt 文件中这样做吗？

禁止看起来像这样：

禁止：/wp-admin

我将如何自定义特定页面，例如：

score 54 · Accepted Answer

Disallow: /thank-you-for-commenting

在robots.txt中

score 9 · Accepted Answer

robots.txt 文件使用正则表达式来匹配页面，因此为避免定位的页面超出您的预期，您可能需要在页面名称的末尾添加一个 $：

Disallow: /thank-you-for-commenting$

如果你不这样做，你也会禁止页面 /thank-you-for-commenting-on-this-too

score 7 · Accepted Answer

您还可以在robots.txt文件中添加带有扩展名的特定页面。在测试的情况下，您可以指定测试页面路径以禁止机器人抓取。

举些例子：

 Disallow: /index_test.php
 Disallow: /products/test_product.html
 Disallow: /products/

第一个Disallow: /index_test.php将禁止机器人爬取根文件夹中的测试页面。

其次Disallow: /products/test_product.html将禁止“产品”文件夹下的 test_product.html。

最后一个示例Disallow: /products/将禁止抓取整个文件夹。

score 1 · Accepted Answer

这很简单，任何你想禁止的页面，只要给出这个文件或文件夹的根 url。只需将其放入您的 robots.txt 文件中。

Disallow: /thank-you-for-commenting

4 回答 4