-1

这是两组条件，我想用/search/jobdescription?and阻止所有 urlsearch/jobdescription/

1)http://<--sitename-->/search/jobdescription?id=0154613&css=a&act=a

2)http://<--sitename-->/search/jobdescription/id/0154613/css/a/act/a

如何在 robots.txt 文件中阻止这两种情况。

谢谢

4

2 回答 2

2

很简单：

User-agent: *
Disallow: /search/jobdescription
于 2012-05-10T09:19:55.117 回答
0

您还可以使用X-Robots-Tag HTTP 标头来防止索引。

于 2012-05-10T09:20:12.270 回答