0

我有一些页面名称 index2.php、index3.php、..
它们是我的 index.php 的副本，出于测试目的，
我是否应该因为双重内容而在 robots.txt 中禁止这些页面？
或者没关系，因为这些页面没有链接到我的网站上？
如果我因双重内容而受到谷歌的惩罚，那有多糟糕？

4

3 回答 3

1

如果您从未链接到测试页面或与任何人（可能会在其他地方发布）共享链接，并且它们没有出现在任何站点地图中，那么爬虫将永远找不到这些页面。

我不建议将它们添加到您的 robots.txt，因为任何人都可以查看您的 robots.txt 并找出您的测试页的位置。通常您不希望公众访问测试页面。

如果您想确保除了您之外没有人能够查看测试页面，请添加 IP 检查或其他一些安全措施，例如登录。

于 2012-10-10T09:45:01.967 回答
0

欺骗内容或任何可能让您失望的东西都很难恢复。总的来说，我会说这取决于您对您的网站/服务所做的事情。如果一切都与内容有关，那么是的，它在某种程度上很重要。一旦 google 和其他引擎将您列在一个域池中以查找欺骗内容或其他可能的标志，这些标志可能会试图错误地提高您的排名，那么要退出该池是很困难的。这就像信任，一旦你为某人失去了它，他们就很难重新获得它。

再说一次很难说，我知道有些人已经连续几个月试图解决类似的问题，我知道有些人在一周内就解决了。

同样，这一切都归结为您的站点/服务正在做什么，以及它是如何做到的。这么多因素，不止一个人会杀死..

至于整个机器人文本的事情，如果你关心它，它没有坏处。像谷歌这样的引擎会注意机器人文本并足够尊重它。没有它，尽管没有直接链接谷歌和/或其他引擎有时会找到一种方法来找到它。我有整个公众从未见过的子域最终在搜索引擎中被索引，我让你最模糊的文件名从未公开链接到搜索引擎中......它的命中或失败

于 2012-10-10T09:45:37.767 回答
0

为了安全起见，你应该禁止它们，如果你完全删除它们会很棒。

关于惩罚，只是如果您在不同页面上有重复的内容，这些页面将开始相互竞争以获得更高的排名。而且您不希望自己的页面相互争夺排名。

于 2012-10-10T09:46:53.903 回答