c# - HttpWebRequest 返回的结果与 Web 浏览器不同

Question

我正在尝试抓取网站并获取其页面数据。一切都很顺利，直到我开始获得与视图源中的数据不同的数据（我所期望的数据）。我正在使用 html-agility-pack，但也尝试使用 HttpWebRequest，以更改它的所有标题，但没有运气。由于视图源中的数据，我知道这不是 JavaScript 技巧。我希望有人对可能的解释或解决方案有想法。

Answer 1

有很多因素可能会影响服务器发送给您的 html。我建议您使用诸如 fiddler 之类的工具来更仔细地检查请求标头。

根据我的经验，此类问题的常见罪魁祸首是 cookie 和会话信息，它们作为隐藏字段存储在文档中，并作为请求正文的一部分随每个请求一起发送。