0

Google 停止抓取我的网页,因为我的robots.txt文件被无意中移动了。它说我应该尝试通过去地址来确保它在那里:http://www.site.com//robots.txt。它有两个斜线,就像那样。但它仍然有效。它也适用于三个。那是怎么回事?即使我能明白为什么它可以被忽略——我没有指定两者之间的任何目录——为什么像谷歌网站管理员页面那样优先显示这样的 url?

4

1 回答 1

2

大多数(全部?)服务器似乎允许在主机名之后直接使用多个斜杠(但不在其他位置),例如:

(相关问题:如何避免使用htaccess在url中域名后出现多个斜杠?

但是,当 Google 网站管理员工具显示带有两个斜杠的 URL 时,您可能在 GWT 首选项中设置了您的域,并带有一个尾随斜杠(http://example.com/而不是http://example.com)。请参阅此问题以了解 Google Analytics(我想 GWT 应该类似)。

于 2013-05-05T10:48:55.047 回答