0

所以我有一个 VPS（运行 debian）设置来托管我正在处理的许多网站。结构如下：

/var/www/www.website1.com
----------------------------------
/var/www/www.website1.com/htdocs
/var/www/www.website1.com/cgi-bin
/var/www/www.website1.com/logs


/var/www/www.website2.com
----------------------------------
/var/www/www.website2.com/htdocs
/var/www/www.website2.com/cgi-bin
/var/www/www.website2.com/logs

ETC

我的问题是我在哪里放置我的 robots.txt 文件。它是否应该与站点文件一起在每个站点的 htdocs 中。或者我可以在一个位置为整个 VPS 提供一个主 robots.txt 文件。我试图阻止谷歌抓取网站结构中不需要由搜索引擎访问的日志文件夹和任何其他文件夹。目前，我似乎有点矫枉过正，谷歌没有在我的一个网站上索引我的 index.html 以及其中的描述。

任何帮助都会很棒。

4

2 回答 2

0

您应该在每个 htdocs 目录中为每个站点创建一个单独的 robots.txt 文件。给定的 robots.txt 文件仅适用于加载它的域，因此每个站点都应该有自己的文件。理论上，您可以为所有站点设置一个共享 robots.txt 文件，但这通常不是一个好主意，因为它无法阻止一个站点上的某些内容而不阻止所有其他站点。

于 2013-08-05T18:41:50.457 回答
0

当然，如果您愿意，您也可以为您的 vps 提供 master robots.txt。如果您这样做并且当您想要阻止某个文件夹时，您可以通过提供该文件夹的整个路径来阻止它。但建议您为托管 vps 中的每个网站使用单独的 robots.txt。

你问谷歌不要索引你的网站，因为你只需检查你在哪里阻止了机器人，如果不是将该网站添加到谷歌网站管理员工具并验证，那么谷歌肯定会索引你的网站。对所有网站执行相同的操作，这有助于为每个网站处理所有形式的单独记录，即使它在单个 vps 中也是如此。

无论如何，对于未来的服务器需求，只需咨询我的vps 托管服务提供商，他们会以各种方式帮助托管我的网站和应用程序。

于 2013-08-16T10:18:55.380 回答