codeigniter - robots.txt 是否会阻止 Google 索引我的网站或 CodeIgniter 使用的文件？

Question

我有一个在 CodeIgniter 中构建的网站，我正在尝试利用 Google 的网站管理员工具来告诉我设置 robots.txt 文件。我希望谷歌索引整个网站，但不一定是组成网站的文件。所以我不想很好地查看 /system/ 文件或 /application/config/ 文件，但我确实希望每个页面都被索引。我应该列出每个文件以供 Google 不编制索引还是告诉它全部编制索引或不编制索引？谢谢！

Answer 1

Google 只会看到您的网站提供的页面/网址。因此，您不会阻止文件，而是阻止页面。因此，您的 robots.txt 应包含您不想编入索引的 URL。幕后的文件是无关紧要的。