所以这就是问题所在,我创建了一个测试站点来创建新功能,但它已被谷歌索引,这导致具有相同数据的主站点出现问题。
我已经使用了网站管理员工具,并在我写的地方添加了删除 url 的新请求www.mytestsite.com/index.php
,它会从谷歌搜索中删除所有这些,比如 url,还是有其他方法可以快速删除它?
感谢帮助
所以这就是问题所在,我创建了一个测试站点来创建新功能,但它已被谷歌索引,这导致具有相同数据的主站点出现问题。
我已经使用了网站管理员工具,并在我写的地方添加了删除 url 的新请求www.mytestsite.com/index.php
,它会从谷歌搜索中删除所有这些,比如 url,还是有其他方法可以快速删除它?
感谢帮助
从“Google”搜索结果中完全删除整个页面的唯一方法:
虽然使用 robots.txt 来控制对服务器上文件和目录的访问是有帮助的,但它并不是您不会被索引的保证。Robots.txt可以被忽略。Google 不会抓取 robots.txt 阻止的网页内容或将其编入索引,但如果您的网址出现在网络上的其他网页上,它们仍会将其编入索引。
要完全防止页面的内容被列在 Google 网络索引中(即使其他网站链接到它),请使用noindex 元标记或x-robots-tag。只要 Googlebot 获取该页面,它就会看到 noindex 元标记并阻止该页面显示在网络索引中。如果您希望限制对非 HTML 文件(如图形或其他类型的文档)的索引,x-robots-tag HTTP 标头特别有用。
使用无索引元标记:
https://support.google.com/webmasters/answer/93710?hl=en
提供 410 Gone。
https://productforums.google.com/d/msg/webmasters/i70G2ZAhLmQ/neKEH4spacUJ
不要管你的 robots txt,让谷歌重新抓取。当 URL 从索引中消失时,将您的 robots txt 文件放回原处以完全阻止 Google 抓取。
此外,您还没有评论这实际上是如何导致父站点问题的。其他海报建议 301 重定向,如果父站点正在失去流量,这似乎是合理的。
这可能不是一个好的答案,只是有创意,所以请不要严厉打击我。你有没有想过在爬取的页面上贴上高价值、低图像高重复的文字?谷歌会在接下来的几次抓取你时像石头一样把你扔掉。基本上,反 SEO,我遇到了类似的问题,爬了我的管理测试站点,因为我的同事用机器人允许错误的构建。直到我放了一堆广告词和 Lorem Ipsum 才把它们弄下来。只是一个想法。
服务器端 HTTP 301 会重定向(永久移动)吗?这是来自 Google 的链接:301 重定向
你也可以通过机器人txt文件隐藏..你不需要删除它。Robots txt 文件被添加到博主博客的根目录或任何站点中,以便搜索引擎知道博客的哪个部分抓取或不抓取。搜索页面没有用,大多数情况下不允许谷歌机器人抓取,并且存档可以被禁止,因此它们不应该在搜索引擎中抓取。