我有一个 Django 站点,它使用本地化中间件与 gettext 和 trans/blocktrans 模板标签结合,根据用户代理字符串中的首选语言向访问者显示不同的页面(这似乎是在 Django 中做事的标准方式) .
这适用于支持的语言(目前只有西班牙语、英语和德语,还有更多语言)。如果我将浏览器中的首选语言设置为不同的语言,我会得到该翻译的页面。但是,我不知道它如何出现在搜索引擎中。
当搜索引擎抓取网站时,它的代理字符串中是否通常有首选语言?德国蜘蛛会获得德国网站,西班牙蜘蛛会获得西班牙网站,还是只会获得当用户没有设置语言时显示的默认英文网站?这是否因搜索引擎而异,是否有一种“标准方式”来处理单个爬虫可能会或可能不会坚持的事情?