python-3.x - 网站无休止地重定向，直到在scrapy中达到最大重定向

Question

通过浏览器访问站点时，该站点的行为正常，但在通过爬虫机器人访问站点时会出现重定向问题。我使用 Scrapy-Crawlera 代理服务，仍然无休止地重定向站点。如果我使用handle_httpstatus_list = [302]or dont_redirect = True，我将得到响应

对象移至此处。

我希望就某些网站上为什么会出现这种行为提供任何建议或答案？不幸的是，我无法分享网站 URL。