4

我正在尝试使用WebClient.

我有一个集合，我循环通过它来获取QueryString值，并构建最终 URL，然后将其传递给客户端。

它第一次执行良好时，我得到了正确的响应，但是，当它第二次进入循环时，我得到了错误：

System.Net.WebException --> 远程服务器返回错误：(403) Forbidden。

如果我第一次得到回应。然后我也应该得到其余的收藏。

任何线索为什么？我可能会错过什么？

下面是我正在使用的代码片段。

 using(System.IO.StreamWriter file = new System.IO.StreamWriter(@"C:\sample.text")) {
    foreach(var f in fileCollections) {
        strFinalURL = string.Empty;

        strFinalURL = "someURL" + f; // f can be considered as querystring param value

        try {
            using(var client = new WebClient()) {

                test = client.DownloadString(strFinalURL);
                if (!test.Contains("somecondition")) {
                    file.WriteLine("");
                }
            }
        } catch (System.Exception ex) {
            Console.WriteLine(ex.Message);
        }
    }
}
4

2 回答 2

16

一些 Web 服务器可以根据它们提供的用户代理字符串来阻止请求。在您的情况下，您发送一个空字符串作为用户代理。尝试添加浏览器的用户代理，任何浏览器都可以。

例如：

client.Headers.Add("user-agent", " Mozilla/5.0 (Windows NT 6.1; WOW64; rv:25.0) Gecko/20100101 Firefox/25.0");

对于用户代理列表，您可以单击此处。

于 2013-10-31T20:42:39.663 回答
1

如果你说的一切都是正确的，那么我怀疑服务器节流正在发挥作用。尝试Thread.Sleep在循环中添加 a 以减慢速度。

于 2013-10-31T21:14:12.607 回答