web-crawler - Storm Crawler - 爬取需要身份验证的网站

Question

我想使用 Storm Crawler 在 Intranet 中抓取需要授权（我已经有凭据）的网站。是否可以通过简单地修改爬虫配置来做到这一点，或者我应该更改源代码中的类，如果可以，哪些类？

Answer 1

这目前不可用。我为此#427打开了一个问题，您需要修改 HttpProtocol 类。这将是一个巨大的贡献，将非常受欢迎。