2

我只想允许主 URL(域)和http://domain/about,以及其他 URL 对搜索 google 不可见。示例我的链接如下:

http://example.com
http://example.com/about
http://example.com/other1
http://example.com/other2
http://example.com/other3
http://example.com/other4
http://example.com/other5
http://example.com/other6
and more URL. 

我的问题是 robots.txt 的内容是什么,我想只允许http://example.comhttp://example.com/about,我的网站使用 wordpress。

谢谢。

4

2 回答 2

5

你想要的是:

User-agent: *
Allow: /$
Allow: /about
Disallow: /

$表示 url 字符串必须在那里结束。所以它不会允许,例如,/example.com/foo.

于 2013-01-31T00:37:39.723 回答
0
User-agent: *
Allow: http://example.com/about
Disallow: /
于 2013-01-30T14:17:46.113 回答