问题标签 [large-file-upload]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
524 浏览

file-upload - 用户上传大ZIP文件到服务器的方法

我现在正在使用 OpenCart 来允许客户从我的网站购买产品。

一旦他们成功购买了商品,我希望他们能够将大文件(最好通过 FTP)上传到我的服务器。我预计在 10Mb 和 100Mb 之间。

这可能吗?你会如何建议我把它放在一起?

我猜我必须使用 orderID 在我的服务器上创建一个私有目录。 我是否应该只创建一个对服务器上特定私有目录具有只写访问权限的 FTP 用户,并要求他们在那里上传“<%OrderID%>.zip”?

或者有没有更好的方法来处理这个?我应该考虑 Dropbox、Amazon S3 还是Plupload

非常感谢您对此的任何帮助:-)

0 投票
6 回答
22438 浏览

ruby-on-rails - 在 Rails 应用程序中处理大文件上传的最佳方法是什么?

我有兴趣了解在 Rails 应用程序(2-5Gb 文件)中处理大文件上传的不同方法。

我知道为了传输这种大小的文件,需要将其分解成更小的部分,我已经做了一些研究,这就是我目前所拥有的。

是否可以像 FTP 一样恢复所有这些方法,我不想使用 FTP 的原因是如果可能的话,我想保留在 Web 应用程序中?我使用了carrierwave和回形针,但我正在寻找可以恢复的东西,因为上传5Gb文件可能需要一些时间!

在我列出的这些方法中,我想了解哪些方法效果很好,是否还有其他方法我可能会遗漏?如果可能没有插件,宁愿不使用 Java Applets 或 Flash。另一个问题是这些解决方案在上传时将文件保存在内存中,这也是我希望尽可能避免的约束。

0 投票
2 回答
7996 浏览

node.js - 如何在中间件中将 bodyParser 上传限制设置为特定路由而不是全局?

这是一个在全球范围内为我工作的示例(Express 3)中间件设置:

出于安全原因,我不想在 以外的路由上允许 500GB+ 的帖子/upload,所以我试图弄清楚如何在特定路由上指定限制,而不是在中间件中全局指定限制。

我知道bodyParser() 中的多部分中间件已经嗅出内容类型,但我想进一步限制它。

这似乎不适用于快递 3:

Error: Request Entity Too Large当我尝试在uploadURL上上传 3MB 文件时出现错误。

你如何正确地做到这一点?

0 投票
1 回答
325 浏览

filesystemwatcher - 将大量文件添加到监视目录时,FileSystemWatcher 无法正常工作

我们想创建一个 webfarm 来运行我们的 web 应用程序。为此,我们使用了 filesystemwatcher 来获取更改通知并将一台服务器的更改同步到 webfarm 上的其他服务器。filesystemwatcher 工作监视并通知何时添加一两个文件但停止当大量文件添加到目录时通知。如果建议最佳解决方案,我们将不胜感激。

0 投票
2 回答
1276 浏览

java - 从 Web 浏览器上传大文件并传输到 Amazon S3

我们目前有一个小型网络应用程序,其中一部分是文件上传。目前我们在客户端上使用Plupload并启用分块以允许上传大文件。文件保存在应用服务器上,并且在出现时附加块。

现在,我们正在迁移到Amazon S3进行文件存储,并可以使用多个应用服务器。我发现如何处理这些块很困难。我试图效仿他们的榜样,但遇到了问题。我正在尝试的肉看起来像这样:

我遇到的问题是我需要以某种方式知道块的uploadId。当我InitiateMultipartUploadResult从上传的初始化中得到它时,我有它,但我如何将它与后来出现的块相关联?我想我也许可以在第一个响应时将其发送出去,然后在每个块请求时将其发送回来。这似乎不是太遥不可及。

然后我发现,为了完成上传,我需要 a从每次上传到 Amazon S3List<PartETag>的s 中返回。PartETag那么,我的下一个问题是如何在PartETag从浏览器上传块时保存所有这些 s?我的第一个想法是我可以发送PartETag响应中的每个块,然后存储这些客户端。我不确定是否有办法知道最后一个块何时上传,以便我可以发送所有这些PartETags。如果没有,我只需要每次发送所有我拥有的,然后只有最后一个请求会使用它们。这一切对我来说似乎有点骇人听闻。

所以,我认为之前必须有人处理过这个问题。有没有一种好的、标准的方法来做到这一点?

我考虑过在应用服务器上构建文件,然后将其发送到 S3,但是对于多个应用服务器,不能保证这些块最终会出现在同一个地方。

我的另一个想法是在上传期间将所有这些信息存储在数据库中,但我不确定我是否必须在每个块请求中访问数据库。除了这个还有其他选择吗?

我感谢任何人可以提供的任何帮助。

0 投票
1 回答
1801 浏览

asp.net-mvc - ASP.NET MVC2 和 IIS 7.5。从 Excel 2010 读取大数据时的问题

从 Excel 2010 读取大量数据时出现问题

我使用下面的代码来读取数据:

我的 ASP.NET MVC 2.0 项目在使用小型 Excel 文件和大型 Excel 文件的 Visual Studio 2010 上运行时可以正常工作。

但是,当我部署到 IIS 7.5 (windows 7 pro) 时,我的网站仅适用于小型 Excel 文件。

使用大的excel文件,它会引发以下错误:

(在IIS 7.5上,我的网站上传大文件Excel成功)

我怎样才能解决这个问题?

0 投票
1 回答
1169 浏览

amazon-s3 - Fineuploader:大文件到 Amazon S3

对于小文件(小于 5MB),Fineuploader 发送一个完整的策略对象进行签名,并且上传成功,包括向客户端发送临时链接的后处理,以及一些服务器端管理的东西。我使用服务器的官方FineUploader S3 演示 PHP 代码。https://github.com/Widen/fine-uploader-server/blob/master/php/s3/s3demo-thumbnails.php

签名请求示例(格式化、匿名):

响应包含策略和签名(格式化):

...但对于较大的文件 Fineupload 发送不同的签名请求,其中仅包含标头(格式化,匿名):

响应仅包含签名(格式化):

在这种情况下,OPTIONS对 amazon S3 的请求失败:

回复:

  • 状态:403
  • 身体:

响应标头:

测试用例:

  • 使用较小.mov的 , .mp3, .pdf,.log文件进行测试:课程 #1(成功)
  • 使用较大的文件(相同类型)进行测试:课程 #2(失败)

什么会导致差异?我该如何/应该修复它?

0 投票
2 回答
5222 浏览

android - 后台上传大文件(应用关闭时服务重启)

我想上传大文件(~10 - 100Mb wifi 或移动网络),但在后台,因为用户可能会离开应用程序,稍后系统将关闭应用程序(如果不是 enoguh 内存)我为此创建了一个服务情况,但我的问题是,当我终止应用程序时,服务重新启动并重新开始上传。我发现同样的问题没有解决方案:

用户退出应用程序后保持后台服务活动

每次关闭应用程序时我的服务都会重新启动

所以它不起作用,但解决方案是什么?youtube 应用程序如何???

0 投票
1 回答
488 浏览

asp.net-mvc-4 - 使用后载文件上传器上传大文件时出现异常

我正在使用 backload 文件上传器来上传文件,它适用于大约 200-300 mb 的文件,但对于 700-1000 mb 的较大文件,它失败并且甚至没有正确抛出(它进入 handler_StoreFileRequestException 但将参数传递为 null)异常。

它首先在页面上正确显示加载进度条并继续加载,一旦完成,在调试期间它没有命中 handler_StoreFileRequestStarted 并直接命中 handler_StoreFileRequestException 并且它们的参数 StoreFileRequestEventArgs 在这种情况下为空。

为了支持大文件,我在 Web 配置中做了一些更改,例如:

但仍然面临问题..

请建议..

0 投票
1 回答
17101 浏览

sharepoint - sharepoint 2013 大文件上传(>1GB)

有谁知道可以通过sharepoint上传的最大文件大小是多少?

我在上传超过 1GB 的大文件时遇到问题,出现错误:

以下是我尝试的一些解决方案:

  1. 增加 IIS 中的超时时间(默认为 120 秒,这可能会更改但我们可以再次检查)。
  2. web.config增加Web 应用程序文件中的最大上传大小。
  3. 增加大文件的默认块大小(Large-file-chunk-size: Stsadm property (Office SharePoint Server))。
  4. 添加executionTimeout价值。
  5. 增加 Web 部件的最大限制。

我尝试了这些,但在上传这些大文件时仍然出现错误,这是错误:

抱歉,出了点问题,发生了意外错误。