java - htmlunit 抓取中的错误 403 尽管它是手动打开的

Question

我正在尝试使用 html_unit 1.14 来抓取假代理。它给了我（错误 403），尽管它是在浏览器上手动打开的。

可能是什么原因以及如何检测它？

Answer 1

第 1 步（可选）：升级到 v2.18 或更高版本

<dependency>
    <groupId>net.sourceforge.htmlunit</groupId>
    <artifactId>htmlunit</artifactId>
    <version>2.18</version>
</dependency>

第 2 步（强制）：

WebClient webClient = new WebClient(yourbrowser);
webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);