seo - 在 robots.txt 中指定变量

Question

我的 URL 结构设置为两个平行（都指向同一个地方）：

• www.example.com/subname
• www.example.com/123

问题是，蜘蛛正在爬进类似的东西：

• www.example.com/subname/default_media_function
• www.example.com/subname/map_function

请注意，名称“子名称”代表我网站上的数千个不同页面，它们都具有相同的功能。

他们抛出错误，因为这些链接严格用于 JSON 或 AJAX 目的，而不是实际链接。我想阻止他们访问这些页面，但是如果 URL 包含变量，我该怎么做？

这可以在 robots.txt 中使用吗？

Disallow: /map_function

Answer 1

你将不得不做

Disallow: /subname/map_function

机器人将在根级别查找robots.txt 。他们还在那里从左到右评估没有通配符的 URL。

因此，您需要为所有 map_function 创建一个位置并排除该位置，或者排除所有位置。