5

我一直在寻找一个好的方法,并把头撞在墙上。

在一个文件共享服务项目中,我被分配确定上传大文件的最佳方法。

在 stackoverflow 和其他论坛上搜索了很多问题后,这就是我得到的:

  1. 增加脚本最大执行时间,以及允许的最大文件大小

    这个案子真的不合适。每次通过普通宽带连接(1mbps-2mbps)上传文件时,它几乎都会超时。即使在上传完成后执行 PHP 脚本,仍然不能保证上传不会超时。

  2. 分块上传。

    虽然我有点明白我应该在这里做什么,但我感到困惑的是,假设正在上传一个 1GB 的文件,而我正在以 2MB 的块读取它,但如果上传速度很慢, php 脚本执行将超时并给出错误。

  3. 使用其他语言,如 Java 和 Perl?

    使用 java 或 perl 处理文件上传真的有效吗?

客户端使用的方法在这里不是问题,因为我们将发布一个客户端 SDK,并且可以在其中实现我们选择的方法。客户端和服务器端的实现都将由我们决定。

考虑到内存使用应该是高效的,并且可能会有很多并发上传,根据您的说法,哪种方法应该是最好的?

Dropbox 和类似的云存储服务如何处理大文件上传,并且仍然保持快速?

4

2 回答 2

5

我建议您将 PHP I/O 流与 AJAX 一起使用。这将使服务器上的内存占用保持在较低水平,并且您可以轻松构建异步文件上传。请注意,这使用了仅在现代浏览器中可用的 HTML5 API。

查看这篇文章:https ://web.archive.org/web/20170803172549/http://www.webiny.com/blog/2012/05/07/webiny-file-upload-with-html5-and-ajax -使用-php-streams/

在此处粘贴文章中的代码:

HTML

<input type="file" name="upload_files" id="upload_files" multiple="multiple">

JS

function upload(fileInputId, fileIndex)
    {
        // take the file from the input
        var file = document.getElementById(fileInputId).files[fileIndex];
        var reader = new FileReader();
        reader.readAsBinaryString(file); // alternatively you can use readAsDataURL
        reader.onloadend  = function(evt)
        {
                // create XHR instance
                xhr = new XMLHttpRequest();
                 
                // send the file through POST
                xhr.open("POST", 'upload.php', true);

                // make sure we have the sendAsBinary method on all browsers
                XMLHttpRequest.prototype.mySendAsBinary = function(text){
                    var data = new ArrayBuffer(text.length);
                    var ui8a = new Uint8Array(data, 0);
                    for (var i = 0; i < text.length; i++) ui8a[i] = (text.charCodeAt(i) & 0xff);
         
                    if(typeof window.Blob == "function")
                    {
                         var blob = new Blob([data]);
                    }else{
                         var bb = new (window.MozBlobBuilder || window.WebKitBlobBuilder || window.BlobBuilder)();
                         bb.append(data);
                         var blob = bb.getBlob();
                    }

                    this.send(blob);
                }
                 
                // let's track upload progress
                var eventSource = xhr.upload || xhr;
                eventSource.addEventListener("progress", function(e) {
                    // get percentage of how much of the current file has been sent
                    var position = e.position || e.loaded;
                    var total = e.totalSize || e.total;
                    var percentage = Math.round((position/total)*100);
                     
                    // here you should write your own code how you wish to proces this
                });
                 
                // state change observer - we need to know when and if the file was successfully uploaded
                xhr.onreadystatechange = function()
                {
                    if(xhr.readyState == 4)
                    {
                        if(xhr.status == 200)
                        {
                            // process success
                        }else{
                            // process error
                        }
                    }
                };
                 
                // start sending
                xhr.mySendAsBinary(evt.target.result);
        };
    }

PHP

// read contents from the input stream
$inputHandler = fopen('php://input', "r");
// create a temp file where to save data from the input stream
$fileHandler = fopen('/tmp/myfile.tmp', "w+");
 
// save data from the input stream
while(true) {
    $buffer = fgets($inputHandler, 4096);
    if (strlen($buffer) == 0) {
        fclose($inputHandler);
        fclose($fileHandler);
        return true;
    }
 
    fwrite($fileHandler, $buffer);
}
于 2014-08-17T16:06:19.500 回答
2

可能是 tus 基于 HTTP 的可恢复文件上传协议及其实现?

https://tus.io/

https://github.com/tus

https://github.com/ankitpokhrel/tus-php

于 2020-07-04T01:24:36.413 回答