我正在用 C# 编写一个小型网络爬虫。它将使用 HttpWebRequest 获取 HTML 文件,找到所需的数据,然后将其报告给调用者。
所需数据仅在用户登录时可用。由于我不熟悉以编程方式与 http、Javascript 等进行交互,因此我不会尝试以编程方式登录。用户必须登录网站,我的程序将获取存储的 cookie,并将其加载到 CookieContainer 中以进行 http 请求。
我已经做了足够的研究,知道数据属于 CookieContainer(我认为),但我似乎无法在任何地方找到如何找到由 IE(或 firefox,或 chrome 等)创建的 cookie 的示例,以编程方式加载它,填充 CookieContainer,并使用 http get 请求发送它。那么如何做到这一切呢?
谢谢!