python - 如何在基于脚本的方法中使用带有scrapy的代理？

Question

在使用基于脚本的方法时，我似乎无法弄清楚如何将 Browsermob 代理与 scrapy 一起使用。以前有人遇到过这个用例吗？任何帮助都会很棒我在这里使用一种作为描述者的方法

Answer 1

在您的脚本中（我假设您正在使用 Bash）定义您的代理，例如：

http_proxy = 'http://user:password@server.com:3128'

在你调用scrapy脚本之前。在 scrapy 中，您必须启用代理中间件。

有关更多信息，请参见此处和此处。