我只想允许主 URL(域)和http://domain/about
,以及其他 URL 对搜索 google 不可见。示例我的链接如下:
http://example.com
http://example.com/about
http://example.com/other1
http://example.com/other2
http://example.com/other3
http://example.com/other4
http://example.com/other5
http://example.com/other6
and more URL.
我的问题是 robots.txt 的内容是什么,我想只允许http://example.com
和http://example.com/about
,我的网站使用 wordpress。
谢谢。