http - 如何关闭网络浏览器重定向缓存

Question

我正在为客户制作一个产品爬虫，因此我可以提升所有产品并将它们放入我们的数据库中，它通过获取 HTML 然后以递增值重定向来工作。Firefox 正在缓存重定向和输出：页面没有正确重定向每 25 次重定向，这很烦人，因为我必须一直按重试！是否有关闭此缓存的选项，以便它一直重定向直到我告诉它停止，或者没有检测到重定向的网络浏览器？

非常感谢查尔顿

Answer 1

您使用的是哪个重定向代码，301 重定向被缓存，因为根据定义它们必须是永久的，302 不是（或不应该是）。

现在，如果您尝试构建一个 HTTP 重定向循环协议，直到您决定停止它；大多数网络浏览器很可能会将此行为检测为服务器错误（谁想等待 300 次重定向才能到达页面？）。使用多个重定向通常是一件坏事。