Google 停止抓取我的网页,因为我的robots.txt
文件被无意中移动了。它说我应该尝试通过去地址来确保它在那里:http://www.site.com//robots.txt
。它有两个斜线,就像那样。但它仍然有效。它也适用于三个。那是怎么回事?即使我能明白为什么它可以被忽略——我没有指定两者之间的任何目录——为什么像谷歌网站管理员页面那样优先显示这样的 url?
问问题
101 次
1 回答
2
大多数(全部?)服务器似乎允许在主机名之后直接使用多个斜杠(但不在其他位置),例如:
- http://www.google.com/////////robots.txt
- https://stackoverflow.com/////robots.txt
- http://en.wikipedia.org/////////////////////robots.txt
(相关问题:如何避免使用htaccess在url中域名后出现多个斜杠?)
但是,当 Google 网站管理员工具显示带有两个斜杠的 URL 时,您可能在 GWT 首选项中设置了您的域,并带有一个尾随斜杠(http://example.com/
而不是http://example.com
)。请参阅此问题以了解 Google Analytics(我想 GWT 应该类似)。
于 2013-05-05T10:48:55.047 回答