2

我试图找到一种以最快的方式复制大文件的方法......

import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.util.ArrayList;

public class FastFileCopy {


public static void main(String[] args) {
    try {
        String from = "...";
        String to = "...";
        FileInputStream fis = new FileInputStream(from);
        FileOutputStream fos = new FileOutputStream(to);
        ArrayList<Transfer> transfers = new ArrayList<>();
        long position = 0, estimate;
        int count = 1024 * 64;
        boolean lastChunk = false;
        while (true) {
            if (position + count < fis.getChannel().size()) {
                transfers.add(new Transfer(fis, fos, position, position + count));
                position += count + 1;
                estimate = position + count;
                if (estimate >= fis.getChannel().size()) {
                    lastChunk = true;
                }
            } else {
                lastChunk = true;
            }
            if (lastChunk) {
                transfers.add(new Transfer(fis, fos, position, fis.getChannel().size()));
                break;
            }
        }
        for (Transfer transfer : transfers) {
            transfer.start();
        }
    } catch (IOException ex) {
        ex.printStackTrace();
    }
}

}

然后创建这个类：

import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.nio.channels.FileChannel;

public class Transfer extends Thread {

private FileChannel inChannel = null;
private FileChannel outChannel = null;
private long position, count;

public Transfer(FileInputStream fis, FileOutputStream fos, long position, long count) {
    this.position = position;
    this.count = count;
    inChannel = fis.getChannel();
    outChannel = fos.getChannel();
}

@Override
public void run() {
    try {
        inChannel.transferTo(position, count, outChannel);
    } catch (IOException e) {
        e.printStackTrace();
    }
}

}

我测试了它，结果非常非常令人印象深刻......但是有一个很大的问题，复制的文件比当前文件大很多！

所以，请检查它并帮助我找到问题，谢谢:)）

4

2 回答 2

6

这是一个 XY 问题。只需使用Files.copy().

看看那个，看看这对你来说是否不够快：

$ ls -lh ~/ubuntu-13.04-desktop-amd64.iso 
-rw-rw-r-- 1 fge fge 785M Jul 12  2013 /home/fge/ubuntu-13.04-desktop-amd64.iso
$ cat Foo.java 
import java.io.IOException;
import java.nio.file.Files;
import java.nio.file.Paths;
import java.nio.file.StandardCopyOption;

public class Foo
{
    public static void main(final String... args)
        throws IOException
    {
        Files.copy(Paths.get("/home/fge/ubuntu-13.04-desktop-amd64.iso"),
            Paths.get("/tmp/t.iso"), StandardCopyOption.REPLACE_EXISTING);
    }
}
$ time java Foo

real    0m1.860s
user    0m0.077s
sys 0m0.648s
$ time java Foo

real    0m1.851s
user    0m0.101s
sys 0m0.598s

它可能会更快。sendfile(2)天知道为什么，即使这是 Java 8 和 Linux 2.2 已经出现了很长一段时间，Oracle 也不使用。

于 2014-03-19T11:15:21.137 回答
2

由于每个循环都会将 position 增加 count+1，并且使用 `(fis,fos,position,position+count) 进行 Transfer，因此您的代码将创建 Transfer 对象，如下所示：

new Transfer(fis, fos, 0,count)
new Transfer(fis, fos, count+1, 2count+1)
new Transfer(fis, fos, 2count+2, 3count+2)
new Transfer(fis, fos, 3count+3, 4count+3)
...

因此，尽管您将创建filesize / count传输类，但您要求传输(count + 1) * (1 + 2 + 3 + ...)总字节数。

此外，我认为不会FileChannel.TransferTo()像您认为的那样工作。position指定您开始阅读的源文件中的位置。它没有指定您在目标通道中写入的位置。因此，即使您得到正确的大小，您最终也会得到正确大小的输出文件，但是内容会按照线程碰巧写入它们的顺序混乱。

你可以打电话outChannel.position()跳到正确的地方。我不清楚当多个线程以这种方式扩展文件大小时会发生什么样的混乱。

进行实验很好，我鼓励您尝试一下并进行基准测试。然而，评论是正确的，该方法被误导了。只有一个磁盘，仅由一个文件系统缓冲区支持，并且让多个线程争夺它不会使其工作更快 - 并且可能会使其更慢。

你不太可能改进：

 long count = 0;
 long size = src.size();
 while(count < size) {
    count += src.transferTo(count, size - count, dest);
 }

还要注意，很难对文件操作的性能做出判断，因为文件系统会同时缓存读取和写入，所以你所做的很多事情都只是对 RAM 的超廉价操作。

另请注意，至少在进行基准测试时join()，在考虑复制完成之前，您将需要使用已启动的所有线程。

于 2014-03-19T11:33:32.073 回答