1

在我的 ASP.Net MVC 应用程序中，我有一个控制器/操作 url，我想将其添加到 Robots.txt Disallow 部分，这样我的视图就不会被搜索引擎抓取，因此不会被搜索引擎索引。

但是我已经使用这样的路由重命名了控制器/动作

 routes.MapRoute(
                "693a7878-4b1d-4934-bad2-cec60e4ffbd1ec801ac0",
                "693a7878-4b1d-4934-bad2-cec60e4ffbd1ec801ac0",
               new { controller = "Index", action = "Report" }
           );

所以我的网址是这样的

http://localhost:51227/693a7878-4b1d-4934-bad2-cec60e4ffbd1ec801ac0

我想在 Robots.txt 中知道禁止我应该包含哪些网址以被搜索引擎忽略。

 User-agent: *
 Disallow: /Index/Report

          OR

 Disallow: /Index/693a7878-4b1d-4934-bad2-cec60e4ffbd1ec801ac0

请建议。

4

2 回答 2

2

/693a7878-4b1d-4934-bad2-cec60e4ffbd1ec801ac0如果您只想让爬虫忽略该特定 URL，则应该阻止。

但是，他们仍然会找到您的/Index/ReportURL，所以您可能也想阻止它？

于 2013-08-22T11:03:39.133 回答
0

搜索引擎（不一定）知道您使用 ASP.NET MVC，也不知道您的路由是如何设置的。它只看到最终的 URL。请参阅网络机器人页面：

对于要排除的每个 URL 前缀，您需要一个单独的“Disallow”行

所以“禁止”网址：

http://localhost:51227/693a7878-4b1d-4934-bad2-cec60e4ffbd1ec801ac0

变成：

Disallow: /693a7878-4b1d-4934-bad2-cec60e4ffbd1ec801ac0
于 2013-08-22T11:07:07.107 回答