1

我有一些页面，比如说/hidden_archive，没有从任何其他页面引用。

我包括在我的robots.txt下一行Allow: /hidden_archive。

搜索爬虫会索引该页面吗？

4

2 回答 2

1

我会说：不。

为什么不能在页面上添加一些链接？没有人声称它们必须对人类可见......

于 2013-01-21T11:43:20.357 回答
1

不，爬虫不会将该页面编入索引，除非它是从某个地方链接的（甚至是不同的网站）

于 2013-01-24T15:09:27.693 回答