这是我的robots.txt。我只想允许基本 urldomain.com用于索引，并禁止所有子 url，如domain.com/foo和domain.com/bar.html。
User-agent: *
Disallow: /*/
因为我不确定这是否是有效的语法，所以我使用 Google Webmaster Tools 对其进行了测试。它向我显示了这条消息。
robots.txt file is probably invalid.
我的文件有效吗？有没有更好的方法只允许基本 url 进行索引？
更新：谷歌robots.txt4 小时前下载了我的。我认为这就是为什么它不起作用。我将等待一段时间，如果问题仍然存在，我将再次更新我的问题。
这是一个验证器的链接。它可能会帮助您解决文件中的任何错误。
我检查了另一个验证器robots.txt Checker，这就是我在第二行得到的：
此处不允许使用通配符（如“*”） 下面的行必须是允许、禁止、注释或空行语句
这可能是您正在寻找的：
User-Agent: *
Allow: /index.html
Disallow: /
这假设您的主页是 index.html。
如果 index.php 是您的主页，您应该能够将 index.html 换成 index.php。
User-Agent: *
Allow: /index.php
Disallow: /
在我通过 index.php 运行的动态网站上，转到 mydomain.com/index.php 仍然会将我带到主页，所以上面应该可以工作。