php - 多语言网站 - 如何检测机器人/蜘蛛？

Question

我的网站会根据用户浏览器的语言更改语言。我想向所有 Spinders/bot 提供英文网站（如 twitter）。什么是蜘蛛/机器人的 HTTP_ACCEPT_LANGUAGE？如何检测机器人/蜘蛛以包含英文文件翻译？我已经看到了制作蜘蛛/机器人列表的方法，但我觉得它并不令人满意。你有更好的解决方案吗？

Answer 1

你可以这样做：

function isSpider()
{
    $spiders = array("googlebot","WebCrawler","Slurp","msn", "VoilaBot", "FurlBot", "NaverBot", "MMCrawler");
    $spider_count = 0;
    foreach($spiders as $Val) {
        if (preg_match("/$Val/i", getenv("HTTP_USER_AGENT"))) {
            $spider_count++;
        }
    }
    if ($spider_count!= "0") {
        return true;
    }
        else
        {
            return false;
        }
}
if (isSpider())
{
        // Set the language to English
}

您可以在此处找到机器人名称列表：蜘蛛名称

这假设机器人设置了用户代理，这对于搜索引擎爬虫来说是一个有效的假设。