32

我正在编写一个 ASP.NET Web API 应用程序，它要求我接受文件上传并将该文件转发到另一个 HTTP 端点。

我担心，如果许多用户尝试每个人上传一个 100MB 的文件（这是一个有效的用例），那么我的应用程序将占用大量内存，并且根据大请求的数量，这个占用量可能会变得很大，并且我的应用程序会崩溃结束并死去。

理想情况下，我想在 Web 服务器开始接收文件后立即开始将文件流式传输到另一个 HTTP 端点，以显着减少服务器上的负载。

我确信这个过程有一个名字，但我不知道 - 这使得搜索它变得相当困难。

我在 Web API 中使用 Response Streaming 做了很多工作，但我以前从未考虑过请求流。

最好我能说我需要弄清楚如何：

  • 在完成上传之前开始处理流。
  • 使用 HttpClient 流式传输相同的请求以将相同的数据流式传输到另一个 HTTP 端点。

谁能给我一些指示？

4

1 回答 1

43

这是一个有趣的问题。我会尽力提供一些一般性的指示。

有几点需要考虑：

1)默认情况下，Web API 会缓冲请求，因此您担心内存占用量可能会相当大，这绝对是有道理的。您可以强制 Web API 以流模式处理请求：

    public class NoBufferPolicySelector : WebHostBufferPolicySelector
    {
       public override bool UseBufferedInputStream(object hostContext)
       {
          var context = hostContext as HttpContextBase;

          if (context != null)
          {
             if (string.Equals(context.Request.RequestContext.RouteData.Values["controller"].ToString(), "uploading", StringComparison.InvariantCultureIgnoreCase))
                return false;
          }

          return true;
       }

       public override bool UseBufferedOutputStream(HttpResponseMessage response)
       {
          return base.UseBufferedOutputStream(response);
       }
    }

然后替换服务：

GlobalConfiguration.Configuration.Services.Replace(typeof(IHostBufferPolicySelector), new NoBufferPolicySelector());

请注意，由于此时 WebHost 和 SelfHost 之间存在差异，因此只能在 WebHost 中进行此类更改。如果您的端点是 selfHosted，则必须在 GlobalConfig 级别设置流模式：

//requests only
selfHostConf.TransferMode = TransferMode.StreamedRequest;
//responses only
selfHostConf.TransferMode = TransferMode.StreamedResponse;
//both
selfHostConf.TransferMode = TransferMode.Streamed;

我之前曾在博客上详细介绍过如何在 Web API 中处理大文件 - http://www.strathweb.com/2012/09/dealing-with-large-files-in-asp-net-web-api/所以希望你会发现这很有用。

2）其次，如果您使用HttpClient.NET 4 中的 .NET 4，它会默认缓冲请求正文，因此您应该真正使用 .NET 4.5。

如果您必须使用 .NET 4，您必须HttWebRequest直接使用： - http://msdn.microsoft.com/en-us/library/system.net.httpwebrequest.allowreadstreambuffering.aspx - http://msdn.microsoft。 com/en-us/library/system.net.httpwebrequest.allowwritestreambuffering.aspx

3)就将数据推送到客户端而言，如果您想这样做，这绝对是可能的，使用PushStreamContent. Henrik 在这里有一篇简短的介绍性文章 - http://blogs.msdn.com/b/henrikn/archive/2012/04/23/using-cookies-with-asp-net-web-api.aspx（它基于 Web API RC 位，因此您可能需要调整一些签名等。）我还写了关于在此处推送流数据块的博客 - http://www.strathweb.com/2013/01/asynchronously-streaming-video-with-asp-net -web-api/

编辑：要查看PushStreamContent请求中的示例，您可以查看此示例解决方案 - http://aspnet.codeplex.com/SourceControl/changeset/view/bb167f0b0013#Samples/Net45/CS/WebApi/UploadXDocumentSample/ReadMe 。文本文件

于 2013-01-22T15:05:42.403 回答