-1

我有一个无法通过我的网站访问的网页。

比如说，我的网站是 www.google.com，而我无法使用该网站访问的网页就像 www.google.com/iamaskingthis/asdasd。当我键入其内容时，该网页会出现在谷歌搜索结果中，但是没有任何内容可以将我发送到我网站上的该页面。

我已经尝试分析页面源以找到它的父位置，但我似乎找不到它。我想删除那个页面，但是因为找不到它，我也不能销毁它。

谢谢

4

3 回答 3

1

您可以使用 robots.txt 文件来防止搜索引擎机器人访问页面，从而不显示其搜索结果。

例如，您可以在网站的根目录中创建一个 robots.txt 文件，并向其中添加以下内容：

    User-agent: *
    Disallow: /mysecretpage.html

更多详情请访问：http ://www.robotstxt.org/robotstxt.html

于 2012-07-04T18:25:05.127 回答
1

没有“父页面”这样的概念。如果您的意思是，谷歌通过哪个链接找到了该页面，请记住，它不需要在您的控制之下：如果我在我的www.google.com/iamaskingthis/asdasd网站上的某个页面上放置了一个链接，并且 googlebat 抓取它，它就会知道它。

简而言之：在网站上隐藏页面没有可靠的方法。如果要限制访问，请使用身份验证。

于 2012-07-04T18:27:34.517 回答
0

即使按钮消失了，谷歌也会抓取该页面，因为它已经将页面存储在它的记录中。禁止谷歌抓取它的唯一方法是 robots.txt 或简单地将其从服务器上删除（通过 FTP 或您的主机控制面板）。

于 2012-07-04T18:44:59.773 回答