我正在使用 Apache 2 来提供内容,而 Bing Bot 正在使用 HTTP/0.9 从我的服务器请求不提供直接 IP 主机的页面。
如果我不知道他们想要哪个主机,但仍需要他们为我的网站编制索引,我应该如何处理蜘蛛?
我目前返回 400 Bad Request,但让我担心我的网站不会被 Bing 或 Yahoo 编入索引。
谢谢
我正在使用 Apache 2 来提供内容,而 Bing Bot 正在使用 HTTP/0.9 从我的服务器请求不提供直接 IP 主机的页面。
如果我不知道他们想要哪个主机,但仍需要他们为我的网站编制索引,我应该如何处理蜘蛛?
我目前返回 400 Bad Request,但让我担心我的网站不会被 Bing 或 Yahoo 编入索引。
谢谢