1

我们有一个翻译成大约 15 种语言的网站，我们的编辑会定期提供更多语言。

我们的 URL 构建如下：

SiteName.Company.com/{LCID}/Folder1/Folder2/

我们公司希望对搜索引擎隐藏子文件夹/页面。

LCID 可以是从 EN-US 到 ZH-HANS 的任何内容。我正在寻找一种解决方案，我们不必在每次添加新语言时都更新机器人文件。

无论路径如何，我都可以创建通配符条目或过滤掉单个文件夹名称吗？

IE：companyinfo.no​​kia.com/en-us/aboutus/darknews/ 我希望 Google 抓取除 darknews 和 down 之外的所有内容（因此 /darknews/ELOPSellsOut 或 /darknews/3210revival）

这可能吗？

4

1 回答 1

4

您可以使用通配符执行此操作：

User-agent: *
Disallow: /*/darknews/

请注意，并非所有机器人都支持通配符。这适用于 Googlebot 和 Bingbot，但不适用于许多其他人。

于 2013-09-04T17:38:53.150 回答