8

我正在将产品批量上传到数据库。

我正在将图像 url 下载到要用于产品的站点。

我编写的代码在前 25 次迭代中运行良好（由于某种原因总是这个数字），但随后抛出 System.Net.WebException “操作已超时”。

if (!File.Exists(localFilename))
{
    using (WebClient Client = new WebClient())
    {
        Client.DownloadFile(remoteFilename, localFilename);
    }
}

我检查了它请求的远程 url，它是一个返回图像的有效图像 url。

此外，当我使用调试器逐步完成它时，我没有收到超时错误。

帮助！;)

4

4 回答 4

20

如果我站在你的立场上，我会调查以下几种可能性：

  • 如果您从多个线程运行此代码，您可能会遇到 System.Net.ServicePointManager.DefaultConnectionLimit 属性。启动应用程序时尝试将其增加到 50-100。请注意，我认为这不是您的问题，但尝试这比下面的其他内容更容易。:-)
  • 另一种可能性是您淹没了服务器。对于单线程客户端，这通常很难做到，但由于多个其他客户端也可能正在访问服务器，所以这是可能的。但是因为问题总是发生在#25，这似乎不太可能，因为您希望看到更多的变化。
  • 您可能会在客户端和服务器之间备份 keepalive HTTP 连接时遇到问题。这似乎也不太可能。
  • 25 的硬截止让我认为这可能是代理或防火墙限制，无论是在您端还是在服务器端，从一个客户端 IP 到一台服务器（或代理）的 >25 个连接将受到限制。

我的钱花在后一个上，因为它总是在大量请求时中断，并且单步调试器（又名更慢！）不会引发问题。

为了测试这一切，我会从简单的事情开始：在每次 HTTP 调用之前坚持一个延迟（Thread.Sleep），看看问题是否消失。如果是这样，请减少延迟，直到问题再次出现。如果没有，将延迟增加到一个很大的数字（例如 10 秒），直到问题消失。如果它没有在 10 秒延迟后消失，那真是一个谜，我需要更多信息来诊断。

如果它确实会延迟消失，那么您需要找出原因 - 以及限制是否是永久性的（例如您无法更改的服务器防火墙）或您可以更改的东西。要获取更多信息，您需要对请求进行计时（例如，在每次通话之前和之后检查 DateTime.Now），看看您是否看到了某种模式。如果时间都是一致的并且突然变得很大，这表明网络/防火墙/代理限制。如果时间逐渐增加，则表明您正在逐渐超载并延长其请求队列的服务器。

除了对请求进行计时，我还将您的 webclient 调用的超时设置为更长，这样您就可以确定超时是无限的还是比默认值长一点。为此，您需要 WebClient 类的替代方案，因为它不支持超时。MSDN 论坛上的这个线程有一个合理的替代代码示例。

在代码中添加计时的另一种方法是使用 Fiddler：

  • 下载提琴手并启动它。
  • 将您的 webclient 代码的 Proxy 属性设置为指向 fiddler 代理 (localhost:8888)
  • 运行您的应用程序并查看提琴手。
于 2009-10-01T21:00:32.503 回答
6

似乎WebClient没有关闭Response它在完成后使用的对象，在您的情况下，这将导致同时打开许多响应，并且远程服务器上的连接限制为 25 个，您会收到“超时异常”。当您调试时，由于内部超时等原因，早期打开的响应会被关闭……（我WebClient用反射器检查过，我找不到关闭响应的指令）。

我建议您使用HttpWebRequest & HttpWebResponse，以便您可以在每次下载后清理对象：

HttpWebRequest request;
HttpWebResponse response = null;

try
{

   FileStream fs;
   Stream s;
   byte[] read;
   int count;

   read = new byte[256];

   request = (HttpWebRequest)WebRequest.Create(remoteFilename);
   request.Timeout = 30000;
   request.AllowWriteStreamBuffering = false;

   response = (HttpWebResponse)request.GetResponse();
   s = response.GetResponseStream();  

   fs = new FileStream(localFilename, FileMode.Create);   
   while((count = s.Read(read, 0, read.Length))> 0)
   {
      fs.Write(read, 0, count);
      count = s.Read(read, 0, read.Length);
   }

   fs.Close();
   s.Close();
}
catch (System.Net.WebException)
{
    //....
}finally
{
   //Close Response
   if (response != null)
      response.Close();
}
于 2009-10-07T10:19:20.893 回答
4

这是 manji 答案的稍微简化的版本：

    private static void DownloadFile(Uri remoteUri, string localPath)
    {
        var request = (HttpWebRequest)WebRequest.Create(remoteUri);
        request.Timeout = 30000;
        request.AllowWriteStreamBuffering = false;

        using (var response = (HttpWebResponse)request.GetResponse())
        using (var s = response.GetResponseStream())
        using (var fs = new FileStream(localPath, FileMode.Create))
        {
            byte[] buffer = new byte[4096];
            int bytesRead;
            while ((bytesRead = s.Read(buffer, 0, buffer.Length)) > 0)
            {
                fs.Write(buffer, 0, bytesRead);
                bytesRead = s.Read(buffer, 0, buffer.Length);
            }
        }
    }
于 2013-03-12T20:50:24.577 回答
3

我有同样的问题，我在配置文件 app.config 中添加以下行来解决它：

<system.net>
  <connectionManagement>
    <add address="*" maxconnection="100" />
  </connectionManagement>
</system.net>
于 2015-12-16T14:38:16.907 回答