0

您知道是否可以强制机器人在 www.domaine.com 而不是 domaine.com 上爬行？就我而言，我有一个 Web 应用程序，它使用 prerender.io 启用了缓存的 url（以查看 HTML 代码），但仅限于 www。

因此，当机器人在 domaine.com 上爬行时，它没有数据。

在 Nginx 上重定向是自动的 (domaine.com> http://www.domaine.com )，但没有结果。

我说我在我的站点地图上，网址都是 www。

我的 Nginx 重定向：

server {
  listen                *:80;

  server_name           stephane-richin.fr;

  location / {

    if ($http_host ~ "^([^\.]+)\.([^\.]+)$"){
      rewrite ^/(.*) http://www.stephane-richin.fr/$1 redirect;
    }

  }
}

你有想法吗 ？

谢谢 ！

4

2 回答 2

0

你能有一个robots.txt文件吗

User-agent: *
Disallow: /

在 domaine.com 和另一个不同的

User-agent: *
Disallow:

在 www.domaine.com 上？

于 2016-09-21T09:47:05.283 回答
0

如果您在一周前提交了带有正确 URL 的站点地图，那么 Google 一直在请求旧 URL 似乎很奇怪。

无论如何-您在非 www 到 www 重定向中发送了错误的状态代码。您正在发送 302，但应该发送 301。 Philippe 解释了这个答案的不同之处：

状态 301 表示资源（页面）被永久移动到新位置。客户端/浏览器不应尝试请求原始位置，而是从现在开始使用新位置。

状态 302 表示资源暂时位于其他地方，客户端/浏览器应继续请求原始 url。

于 2016-09-21T10:06:13.720 回答