seo - 如何在 robots.txt 中禁止服务 api 和多语言 url

Question

我需要禁止下一个 URL：

1. service api /_s/user, /_s/place, ... 一切以/_s/
2. 保存表格：/{language}/save. 例如/{en}/save，, /{ru}/save...

注意：大多数 URL 的开头都有语言参数：/en/event, ... 我不想阻止它们。

robots.txt应该是这样的：（但格式不允许这样做）

Disallow: /_s/*
Disallow: /:lang/save

Answer 1

Inrobots.txt匹配是从左边开始的，所以它匹配任何以 . 开头的东西/pattern。

通配符 like/*pattern匹配任何必须后跟给定 的开头pattern。因此*，右边永远不需要（例如/foo*，它等同于/foo）。

所以在你的情况下你可以使用

Disallow: /_s/

• 禁止任何以/_s/例如开头的东西/_s/foo

Disallow: /*save

• 禁止所有模式，例如/en/save但也 /foosave或/en/save/other

您可以使用$来表示“必须以”结尾

Disallow: /*save$

• 禁止所有模式，例如/en/saveor/fr/save但不是 /en/save/other

您可以在 Robots.txt 中找到有关 robots.txt 的更多信息：您应该知道的 4 件事文章

我希望这会有所帮助。