2

我正在研究一个在经过身份验证时抓取网站的蜘蛛，它使用多个用户和多个代理。无论如何我可以处理 cookie、代理和会话，以便每个用户使用特定的 cookie 和特定的代理，这样抓取东西就没有问题吗？

目前，我能够在经过身份验证和单个 IP 的情况下与一个用户一起爬网，但希望对更多用户执行此操作。

4

1 回答 1

1

这是可能的，尽管它需要一些工作。

我可以想到两种方法来实现这一点：

  1. 手动调整每一个Request，Response这似乎更简单
  2. 写一个中间件，比较复杂，但是比较通用

在这两种情况下，此信息都应该有帮助：

于 2012-06-27T04:03:05.513 回答