robots.txt - 帮助正确创建 robots.txt

Question

我有这样的动态网址。

mydomain.com/?pg=login
mydomain.com/?pg=reguser
mydomain.com/?pg=aboutus
mydomain.com/?pg=termsofuse

当请求页面时。mydomainname.com/?pg=login index.php 包含 login.php 文件。

一些网址被转换为静态网址，如 mydomain.com/aboutus.html mydomain.com/termsofuse.html

我需要允许索引 mydomainname.com/aboutus.html、mydomainname.com/termsofuse.html 并禁止 mydomainname.com/?pg=login、mydomainname.com/?pg=reguser，请帮助管理我的 robots.txt 文件。

我还有 mydomainname.com/posted.php?details=50 （详细信息可以有任何数字），我将其转换为 mydomainname.com/details/50.html 我还需要允许所有此类 URL。

Answer 1

如果您只想索引静态页面，可以使用：

Disallow: /*?

这将禁止所有包含问号的 URL。

如果您希望继续索引posted.php?details=50 URL，并且您有一组有限的参数要禁止，您可以为每个参数创建一个禁止条目，如下所示：

Disallow: /?pg=login

或者只是阻止一切以 / 开头？

Disallow: /?*

您可以使用这样的工具来测试 URL 的样本，看看它是否会匹配它们。

http://tools.seobook.com/robots-txt/analyzer/