asp.net-mvc - 向搜索引擎隐藏流量管理器端点，但公开自定义域

Question

我正在运行一个托管在 Azure 上的 ASP.NET MVC 网站，并使用流量管理器作为负载均衡器，因此用户不仅可以通过foobar.yourcompany.com等自定义域访问该网站，还可以访问 Azure 流量管理器提供的端点，如foobar .trafficmanager.net。搜索引擎爬虫也是如此。

是否有任何可行的解决方案来向爬虫隐藏流量管理器端点并公开自定义域端点？

PS 我知道robots.txt。

Answer 1

如果您将应用设置为在通过流量管理器域访问时将 HTTP 301 永久重定向返回到您的自定义域，它应该会阻止它出现在搜索结果中。据我所知，您不能完全禁用 TM 域。同样，您不能完全禁用应用服务域。

因此，例如，如果您的应用收到以下请求：

http://foobar.trafficmanager.net/foo/bar

使用 HTTP 301 将其重定向到：

http://foobar.yourcompany.com/foo/bar