java - 阅读网站，就像用户使用 HttpComponents 看到的一样

Question

我想获取网站的 html，就像我用浏览器浏览一样。

当我试图获取一个站点的 html 时，它与我使用 chrome 时不同，我想知道我是否可以使用 apache 的 HttpComponents 发出一个像合法的 get 请求。

我尝试设置 User-Agent，但它不起作用..我还能做什么？

谢谢你

Answer 1

如果网页都是静态 HTML，那么是的，您可以这样做。现在的许多网页都是在客户端使用来自各种来源（HTML、XML、JSON 等）的 Javascript 动态构建的，因此用户看到的唯一表示是浏览器中的 DOM。除非您愿意模拟完整的浏览器执行环境（或者可以挂接到浏览器中），否则这是不可能的。