0

我有一个应用程序创建了许多 web 请求来下载网站的新闻页面（我已经测试了许多网站）一段时间后我发现应用程序在获取 html 源代码时速度变慢然后我发现HttpWebResonse 未能获得响应。我只发布完成这项工作的功能。

    public PageFetchResult Fetch()
    {
        PageFetchResult fetchResult = new PageFetchResult();
        try
        {
            HttpWebRequest req = (HttpWebRequest)HttpWebRequest.Create(URLAddress);
            HttpWebResponse resp = (HttpWebResponse)req.GetResponse();
            Uri requestedURI = new Uri(URLAddress);
            Uri responseURI = resp.ResponseUri;
            if (Uri.Equals(requestedURI, responseURI))
            {
                string resultHTML = "";
                byte[] reqHTML = ResponseAsBytes(resp);
                if (!string.IsNullOrEmpty(FetchingEncoding))
                    resultHTML = Encoding.GetEncoding(FetchingEncoding).GetString(reqHTML);
                else if (!string.IsNullOrEmpty(resp.CharacterSet))
                    resultHTML = Encoding.GetEncoding(resp.CharacterSet).GetString(reqHTML);

                resp.Close();
                fetchResult.IsOK = true;
                fetchResult.ResultHTML = resultHTML;
            }
            else
            {
                URLAddress = responseURI.AbsoluteUri;
                relayPageCount++;
                if (relayPageCount > 5)
                {
                    fetchResult.IsOK = false;
                    fetchResult.ErrorMessage = "Maximum page redirection occured.";
                    return fetchResult;
                }
                return Fetch();
            }
        }
        catch (Exception ex)
        {
            fetchResult.IsOK = false;
            fetchResult.ErrorMessage = ex.Message;
        }
        return fetchResult;
    }

任何解决方案将不胜感激

4

2 回答 2

0

我同意@volody，而且 HttpWebRequest 已经有一个名为 MaximumAutomaticRedirections 的属性，该属性设置为 50，您可以将其设置为 5 以自动实现您在此代码中查找的内容，它会引发异常，这将由您处理代码。

刚设置

request.MaximumAutomaticRedirections  = 5;
于 2010-05-15T08:06:49.777 回答
0

Fetch 函数被递归调用并且总是创建 HttpWebRequest 但仅在匹配 url 时才释放。您必须在 else 语句中关闭请求和响应。

于 2010-05-15T04:52:45.133 回答