google-index - google index - google 会将我的日志编入索引吗？

Question

我有一些 txt 日志文件，可以在其中打印出我网站的一些重要活动。这些文件没有被我网站内的任何链接引用，所以只有我知道网址（它们在文件名中包含当前日期，所以我每天都有一个）。

问题：谷歌会索引这些类型的文件吗？我认为谷歌只索引网站上有网址的页面。

你能证实我的假设吗？我只是不希望其他人从谷歌等找到链接:)

score 2 · Accepted Answer

理论上他们不应该。如果他们没有从任何地方链接，他们应该无法找到它们。但是，我不确定是否可以通过安装 google 工具栏进入索引。毫无疑问，我在搜索引擎中出现了一些意想不到的东西。唯一安全的方法是使用密码保护文件夹。

score 2 · Accepted Answer

谷歌不能索引它不知道它们存在的页面，所以它不会索引这些，除非有人将网址发布到谷歌，或者将它们放在某个网站上。

如果您想确定，只需禁止对文件进行索引（在 /robots.txt 中）。

score 1 · Accepted Answer

Best practice is to use the robots.txt to prevent the google crawler from indexing files you don't want to show up.

This description from Google Webmaster Tools is very helpful and leads you through the process of creating such a file:

edit: As it was pointed out in the comments there is no guarantee that the robots.txt is used so password-protecting the folders is also a good idea.

3 回答 3