问题标签 [large-file-upload]

我有一个在本地网络中使用的 Web 应用程序。我通过（php，html，mysql）制作并使用xampp在本地网络中共享它，我的问题是我无法将大于1GB的文件上传到数据库，因为我想上传大于3GB的文件。我使用move_uploaded_file ()将文件移动到源文件夹中的目录。它不会移动我像这样对php.ini文件进行更改的人

memory_limit=5000M php_value post_max_size 5000M php_value upload_max_filesize 6000M Max_upload_time 6000 Max_execution_time 6000

我多次尝试这些解决方案，但问题没有解决，因此变得很累。请教我解决问题 谢谢

我很难将大文件上传到 Autodesk Forge。

这就是我正在做的事情：我使用 2legged auth 正确授权访问，创建存储桶，并且我能够上传 revit 文件，作为回报，我会收到 URN（对象 ID）。这一切都恰到好处。

上传适用于大小高达 ~100MB 的文件。我还根据从https://github.com/Autodesk-Forge/forge-php-client获取的说明实现了简历上传

这种简历上传也适用于相对较小的文件——比如 50-100MB。我用块 2 和 5MB 进行了测试。

但我对更大的文件有一个真正的问题。比如说 200MB、500MB 或更大。我注意到，如果我使用非恢复选项上传 200MB 文件，那么它会正常运行，并且我会收到带有数据的 json。对于较大的文件 - 它是随机的。一旦他们通过，一次错误。我设法使用非恢复方法上传的最大文件约为 500MB。

但是，如果我对相同的 200MB 文件使用恢复上传，那么我会收到 502 错误。我还注意到这是随机发生的。我设法两次上传了 200 MB 的文件。但在大多数情况下（我会说 10 例中的​​ 9 例）它给出了令人讨厌的 502 错误。我不知道该怎么办。

我正在从谷歌云中的服务器发送我的文件。我们还有负载均衡器。

你能帮忙解决什么可能导致这个 502 错误，或者如果有任何限制等，请提供一些信息？我确定我的代码没问题，因为它适用于 <= 100MB 的较小文件。我还直接从 CLI 而不是从我的源代码测试 curl 命令，但没有任何区别。所以我假设它与服务器过载、负载平衡器或 Forge 端的此类限制有关。

亚历克斯

当我尝试通过上传文件块使用 3 种新方法（StartUpload、ContinueUpload、FinishUpload）上传大文件时，最终上传的文件是损坏的文件，并且大小也大于实际文件。我使用 Rest API 上传大文件。

后续步骤如下：-

1. 为输入文件创建 HTML。

2. 下面的方法是代码的起点：

   • 为 siteurl 创建全局变量

3. 调用 Upload() 方法

   • 首先在文件夹中创建大小为 0 的虚拟文件以继续上传大文件。

   • 创建 FileReader 对象，然后开始创建具有 3 个参数（偏移量、长度、方法（即开始/继续/完成上传））的文件块并将块推送到数组中。

   • 为上传创建唯一ID，即uploadID
   • 调用 UploadFile 方法

4. 上传文件方法

   • 将 arraybuffer 转换为 blob 块以开始上传文件

   • 使用我们之前创建的方法和 1mb 偏移量开始实际文件块上传（uploadFileChunk 方法）

   • 启动块循环并调用相同的方法

5. UploadFileChunk 方法实际开始上传文件块）

   • 表单字符串如果 startupload 则没有 fileoffset，如果 continueupload 和 finishupload 则它将具有 fileoffset。
   • 调用 performupload 方法开始使用 rest api 上传

请建议为什么上传的文件已损坏并且大小小于或大于实际文件？

提前致谢。

我的数据组织在一个包含数百万行和几列的 csv 文件中。该文件太大，无法一次全部读入内存。

幸运的是，我只想计算一些统计数据，比如每 100 行每列的平均值等。我的解决方案基于其他帖子，其中将 read.csv2 与选项 nrow 和 skip 一起使用。这行得通。

但是，我意识到从文件末尾加载时，这个过程非常慢。据我所知，读者似乎在浏览文件，直到它通过了我说要跳过然后阅读的所有行。当然，这是次优的，因为它每次都在读取初始行。

有没有像python解析器这样的解决方案，我们可以逐行读取文件，在需要时停止，然后继续？并保持来自 read.csv2 的良好阅读简单性？

我有一个 django 应用程序，我在其上上传了几个巨大的文件。在我看来，我想对这些文件执行异步任务：

问题是，当我在我的线程中使用文件时，主请求已经完成并且请求对象被删除，连同其中包含的 InMemoryUploadedFile 对象，我得到一个 IO 异常：

如何强制这些文件的持久性而不将它们写入我的文件系统？

这是我的 Standalone.xml 连接器配置

这是套接字绑定

问题是当我在本地窗口机器上上传文件时它工作正常，但在其他机器上它不有趣

max-post-size="100000000" 任何建议或任何可能性。 令我惊讶的是，它们是代理，从 Apache/2.2.15 (Unix) 调用 Web 服务，而 Apache 通过 mode_jk 连接到 wildfly10.0.1Final。对于 mode_jk，我们使用 ajp 侦听器，我在 ajp 侦听器中添加了 max-post-size="100000000"，在 ajp 侦听器中添加了 max-ajp-packet-size="100000000"。但没有成功

我正在尝试使用 curl 将包含大型 base64 编码文件（大小：400Mb）的 json 上传到 Spring REST 接口。但我收到 OutOfMemory 错误。我知道包含该文件的 json 超出了 JVM 的堆大小。什么方法可以处理这么大的文件？任何示例处理代码将不胜感激。

外壳命令：

弹簧休息接口：

错误 ：

我想将 20-200 GG 左右的大文件从 Blob 传输到 FTP。

我正在使用下面的代码来执行相同的操作，但在达到 500 MB 后使内存出现异常。

我正在尝试使用Core.LargeFileUpload.

我已将其更改为适合我的代码，但找不到我的文件夹。我得到一个错误响应' File Not Found'并且一个 0 字节的文件被写入列表

我试过使用：

无济于事，我得到的最好的是我想要的文件夹中有一个 0 字节的文件，但错误仍然是“找不到文件”

0 字节文件写入列表而不是我想要的文件夹。

我正在尝试从 xamarin 应用程序上传 10 个文件，每个文件 100 Mb。

WebApi是一个netcore Api，如果我一个一个上传，文件上传没有任何问题。

但是当我尝试使用 HttpClient 将 10 个文件作为多部分内容一起上传时，应用程序崩溃并出现异常（全内存）。

我知道 HttpClient 正在加载内存中的所有文件，这不是我想要做的。

Microsoft 建议对大文件进行多部分文件上传，但这是我从客户端（Xamarin 应用程序）面临的问题，是否有适当的方法使用多部分内容流式传输大文件而不将数据加载到内存中？