2

不知何故，一个虚拟 robots.txt 阻止了谷歌搜索网站http://www.domda.se。我不希望这种情况发生。

该网站是用 Wordpress 制作的，并在 Integrity 设置中对搜索引擎开放（当然；）

我试过了：

  • 关闭并再次打开隐私设置/搜索引擎允许。

  • 关闭所有插件。

  • 将完全允许的 robots.txt 添加到根目录。

  • 使用机器人插件编写 robots.txt 中应包含的内容

  • 将主题更改为 211 并再次返回

  • 使用 ftp 重置插件文件夹

现在我想知道是否有人可以帮助我，因为我的 php 知识太低了，这让我脸红。我现在想到的事情是尝试通过查看functions.php来解决问题。

在 wp-includes/functions.php 中执行代码的机器人说：

function do_robots() {
    header( 'Content-Type: text/plain; charset=utf-8' );

    do_action( 'do_robotstxt' );

    $output = "User-agent: *\n";
    $public = get_option( 'blog_public' );
    if ( '0' == $public ) {
        $output .= "Disallow: /\n";
    } else {
        $site_url = parse_url( site_url() );
        $path = ( !empty( $site_url['path'] ) ) ? $site_url['path'] : '';
        $output .= "Disallow: $path/wp-admin/\n";
        $output .= "Disallow: $path/wp-includes/\n";
    }

    echo apply_filters('robots_txt', $output, $public);
}

也许那个代码完全没问题。而我添加一个真正的 robots.txt 会否决虚拟的，但我真的不知道该怎么做。

我希望有人能帮帮忙。

4

1 回答 1

3

我认为你需要先看看开场白是否完全正确。

您可以直接在网络浏览器中查看您的 robots.txt。

如果你访问http://www.domda.se/robots.txt，你会得到

用户代理： *

禁止：/wpsystem/wp-admin/

禁止：/wpsystem/wp-includes/

这会阻止所有机器人访问 wpsystem 文件。

它不会阻止谷歌访问主站点。

然而，谷歌搜索site:http://www.domda.se确实拉起

由于此站点的 robots.txt，无法获得此结果的说明 – 了解更多

由于您进行了许多更改，您似乎曾经有一个阻止 Google 的 robots.txt，而现在您没有。

robots.txt 的全部意义在于它是供网络爬虫使用的信息。这些定期检查站点，并且比其他站点更频繁地检查某些站点。您的网站可能要过一段时间才会被 Google 的机器人重新访问，并且还要再过一段时间，您的网站在该次访问中抓取的网页才会出现在 Google 搜索中。

您应该使用 Google 网站管理员工具（它是免费的）来更清楚地了解这个主题并为 Google 提供帮助。

于 2012-11-23T10:54:58.817 回答