c# - 如何在没有浏览器的情况下与网站交互？

Question

假设我正在构建 ac# 应用程序。申请目的：

1. 从用户那里获取用户名和密码。
2. 并显示网站上的一些信息。

在后台，获取用户名和密码后，它应该：

1. 使用这些凭据登录网站。
2. 并点击登录后出现的锚链接。
3. 找出保存信息的跨度。
4. 获取信息。

---

这是一个例子。我实际上正在构建一个应用程序来显示带宽使用信息。服务器没有为此公开任何 API。

是否有任何可用于类似目的的教程/信息/文章？我只是不搜索什么？

Answer 1

HttpWebRequests 基本介绍

首先，您将需要合适的工具来完成这项工作。去下载 Firefox 的Live HTTP Headers插件。这将允许您实时查看 HTTP 标头，以便您可以查看与网站交互时发送的 POST 数据。一旦您知道发送到网站的数据，您就可以通过以编程方式创建自己的 HTTP Web 请求来模拟该过程。工具 > 实时 HTTP 标头

通过导航到Tools > Live HTTP Headers 来加载 Live HTTP Headers。加载 GUI 后，导航到要登录的网站，我将使用Facebook进行演示。输入您的凭据准备登录，但在您执行之前清除 GUI 文本窗口并确保选中标记为Capture的复选框。一旦你点击登录，你会看到文本窗口充斥着关于请求的各种信息，包括你需要的 POST 数据。

我发现最好单击Save All...，然后在文本文档中搜索您的用户名，以便您可以轻松识别 POST 数据。对于我的请求，POST 数据如下所示：

lsd=AVp-UAbD&display=&legacy_return=1&return_session=0&trynum=1&charset_test=%E2%82%AC%2C%C2%B4%2C%E2%82%AC%2C%C2%B4%2C%E6%B0%B4%2C %D0%94%2C%D0%84&timezone=0&lgnrnd=214119_mDgc&lgnjs=1356154880&email=%myfacebookemail40outlook.com&pass=myfacebookpassword&default_persistent=0

然后可以在 C# 中定义如下：

StringBuilder postData = new StringBuilder();
postData.Append("lsd=AVqRGVie&display=");
postData.Append("&legacy_return=1");
postData.Append("&return_session=0");
postData.Append("&trynum=1");
postData.Append("&charset_test=%E2%82%AC%2C%C2%B4%2C%E2%82%AC%2C%C2%B4%2C%E6%B0%B4%2C%D0%94%2C%D0%84");
postData.Append("&timezone=0");
postData.Append("&lgnrnd=153743_eO6D");
postData.Append("&lgnjs=1355614667");
postData.Append(String.Format("&email={0}", "CUSTOM_EMAIL"));
postData.Append(String.Format("&pass={0}", "CUSTOM_PASSWORD"));
postData.Append("&default_persistent=0");

我的目标是向您展示我们可以通过 Web 浏览器“手动”发送的 POST 数据与我们如何使用所述数据在 C# 中模拟请求之间的关系。了解发送 POST 数据远非确定性。不同的网站以不同的方式工作，并且可以按照您的方式抛出各种东西。下面是我用来验证 Facebook 凭据是否正确的函数。我不能也不应该在这里进行非常深入的讨论，因为这些课程及其成员都是自我记录的。您可以找到比我提供的有关MSDN使用的方法更好的信息，例如WebRequest.Method 属性

    private bool ValidateFacebookCredentials(string email, string password)
    {
        CookieContainer cookies = new CookieContainer();
        HttpWebRequest request = null;
        HttpWebResponse response = null;
        string returnData = string.Empty;

        //Need to retrieve cookies first
        request = (HttpWebRequest)WebRequest.Create(new Uri("https://www.facebook.com/login.php?login_attempt=1"));
        request.Method = "GET";
        request.CookieContainer = cookies;
        response = (HttpWebResponse)request.GetResponse();

        //Set up the request
        request = (HttpWebRequest)WebRequest.Create(new Uri("https://www.facebook.com/login.php?login_attempt=1"));
        request.Method = "POST";
        request.ContentType = "application/x-www-form-urlencoded";
        request.UserAgent = "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.2.13) Gecko/20101203 Firefox/3.6.13";
        request.Referer = "https://www.facebook.com/login.php?login_attempt=1";
        request.AllowAutoRedirect = true;
        request.KeepAlive = true;
        request.CookieContainer = cookies;

        //Format the POST data
        StringBuilder postData = new StringBuilder();
        postData.Append("lsd=AVqRGVie&display=");
        postData.Append("&legacy_return=1");
        postData.Append("&return_session=0");
        postData.Append("&trynum=1");
        postData.Append("&charset_test=%E2%82%AC%2C%C2%B4%2C%E2%82%AC%2C%C2%B4%2C%E6%B0%B4%2C%D0%94%2C%D0%84");
        postData.Append("&timezone=0");
        postData.Append("&lgnrnd=153743_eO6D");
        postData.Append("&lgnjs=1355614667");
        postData.Append(String.Format("&email={0}", email));
        postData.Append(String.Format("&pass={0}", password));
        postData.Append("&default_persistent=0");

        //write the POST data to the stream
        using(StreamWriter writer = new StreamWriter(request.GetRequestStream()))
            writer.Write(postData.ToString());

        response = (HttpWebResponse)request.GetResponse();

        //Read the web page (HTML) that we retrieve after sending the request
        using (StreamReader reader = new StreamReader(response.GetResponseStream()))
            returnData = reader.ReadToEnd();

        return !returnData.Contains("Please re-enter your password");
    }

Answer 2

抓取内容的示例代码（屏幕抓取）

 Uri uri = new Uri("http://www.microsoft.com/default.aspx");
 if(uri.Scheme = Uri.UriSchemeHttp) 
 {
     HttpWebRequest request = HttpWebRequest.Create(uri);
     request.Method = WebRequestMethods.Http.Get;
     HttpWebResponse response = request.GetResponse();
     StreamReader reader = new StreamReader(response.GetResponseStream());
     string  tmp = reader.ReadToEnd();
     response.Close();
     Response.Write(tmp);
  }

关于如何使用 HttpWebRequest 将数据发布到远程网页的示例代码

   Uri uri = new Uri("http://www.amazon.com/exec/obidos/search-handle-form/102-5194535-6807312");
   string data = "field-keywords=ASP.NET 2.0";
   if (uri.Scheme == Uri.UriSchemeHttp)
   {
       HttpWebRequest request = (HttpWebRequest)HttpWebRequest.Create(uri);
       request.Method = WebRequestMethods.Http.Post;
       request.ContentLength = data.Length;
       request.ContentType = "application/x-www-form-urlencoded";
       StreamWriter writer = new StreamWriter(request.GetRequestStream());
       writer.Write(data);
       writer.Close();
       HttpWebResponse response = (HttpWebResponse)request.GetResponse();
       StreamReader reader = new StreamReader(response.GetResponseStream());
       string tmp = reader.ReadToEnd();
       response.Close();
       Response.Write(tmp);
   }

来源

Answer 3

任何 HTTP 客户端实现，都有大量的开源库。以curl为例。一些家伙为它制作了一个 .NET 包装器。

Answer 4

您可以继续使用 WebClient 进行 POST（而不是 GET，这是您当前与 DownloadString 一起使用的 HTTP 动词），但我认为您会发现使用（稍微）较低级别的类 WebRequest 和 WebResponse 会更容易。

这有两个部分 - 第一个是发布登录表单，第二个是恢复“Set-cookie”标头并将其作为“Cookie”与您的 GET 请求一起发送回服务器。从现在开始，服务器将使用此 cookie 来识别您（假设它使用基于 cookie 的身份验证，我相当有信心，因为该页面返回一个包含“PHPSESSID”的 Set-cookie 标头）。

点击这里查看详细信息