我应该在 robots.txt 中使用#End Robots# 还是不使用?
我的意思是它是否有助于防止我得到空格?
现在它看起来像这样:
User-agent: *
Disallow: /admin/
Disallow: /account/
Disallow: /access-denied/
#End Robots#
我应该在 robots.txt 中使用#End Robots# 还是不使用?
我的意思是它是否有助于防止我得到空格?
现在它看起来像这样:
User-agent: *
Disallow: /admin/
Disallow: /account/
Disallow: /access-denied/
#End Robots#
http://support.google.com/webmasters/bin/answer.py?hl=en&answer=156449似乎表明不需要它。
就我个人而言,我从未将其添加到我部署的任何机器人文件中,也从未遇到任何问题。