我有很多页面，其链接如下：
http://site.com/school_flower/
http://site.com/school_rose/
http://site.com/school_pink/
等等。我无法手动阻止它们。我怎么能阻止这类页面，而我有数百个上述类型的链接，不想为每个链接写每一行。
问问题
967 次
2 回答
0
你不能。
robots.txt是一种非常简单的格式。但是您可以创建一个工具来为您生成该文件。这应该相当容易，如果您有一个要阻止的 URL 列表，每行一个，您只需要Disallow:在每一行前面添加即可。
也就是说，您想要阻止许多 url 的事实是一个警报。可能，你做错了什么。您可以就您的最终目标提出问题，我们会为您提供更好的解决方案。
于 2013-06-07T10:34:23.843 回答
0
继续我的评论：
user-agent: *
Disallow: /folder/
当然，您必须将不希望机器人访问的所有文件放在一个目录下，除非您通过以下方式阻止整个站点Disallow: /
针对您的评论，kirelagin 提供了正确的答案。
于 2013-06-07T10:34:35.963 回答