http - 基于查询字符串的永久重定向 (301)

Question

考虑一个必须通过以下格式支持旧 URL 的网站：

http://example.com/?some_param=value --> http://example.com/value

虽然根页面功能齐全，但绝不会重定向。

所以基本上，根据查询参数重定向到内部页面。如果缺少参数，则该请求被认为是一次标准，而不是重定向。

仅基于查询字符串永久重定向（HTTP 301）是否可以接受？抓取机器人是否正确区分这两种情况？

Answer 1

如果请求返回 HTTP 301 响应，“爬网机器人”应该递归地爬网，直到它识别出可能的无限循环或接收到非重定向响应。

特别是搜索引擎通常只存储在请求 HTTP 301 时返回 HTTP 20x 的内容的响应。

话虽如此，爬行行为显然会有所不同，具体取决于实现。