java - 将 InputStream 传输到 OutputStream 的最佳方法

Question

我试图找到将 InputStream 传输到 OutputStream 的最佳方法。我没有选择使用任何其他库，如 Apache IO。这是片段和输出。

import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.nio.channels.FileChannel;

public class Pipe {
    public static void main(String[] args) throws Exception {

        for(PipeTestCase testCase : testCases) {
            System.out.println(testCase.getApproach());
            InputStream is = new FileInputStream("D:\\in\\lft_.txt");
            OutputStream os = new FileOutputStream("D:\\in\\out.txt");

            long start = System.currentTimeMillis();            
            testCase.pipe(is, os);
            long end = System.currentTimeMillis();

            System.out.println("Execution Time = " + (end - start) + " millis");
            System.out.println("============================================");

            is.close();
            os.close();
        }

    }

    private static PipeTestCase[] testCases = {

        new PipeTestCase("Fixed Buffer Read") {         
            @Override
            public void pipe(InputStream is, OutputStream os) throws IOException {
                byte[] buffer = new byte[1024];
                while(is.read(buffer) > -1) {
                    os.write(buffer);   
                }
            }
        },

        new PipeTestCase("dynamic Buffer Read") {           
            @Override
            public void pipe(InputStream is, OutputStream os) throws IOException {
                byte[] buffer = new byte[is.available()];
                while(is.read(buffer) > -1) {
                    os.write(buffer);   
                    buffer = new byte[is.available() + 1];
                }
            }
        },

        new PipeTestCase("Byte Read") {         
            @Override
            public void pipe(InputStream is, OutputStream os) throws IOException {
                int c; 
                while((c = is.read()) > -1) {
                    os.write(c);    
                }
            }
        }, 

        new PipeTestCase("NIO Read") {          
            @Override
            public void pipe(InputStream is, OutputStream os) throws IOException {
                FileChannel source      = ((FileInputStream) is).getChannel(); 
                FileChannel destnation  = ((FileOutputStream) os).getChannel();
                destnation.transferFrom(source, 0, source.size());
            }
        }, 

    };
}


abstract class PipeTestCase {
    private String approach; 
    public PipeTestCase( final String approach) {
        this.approach = approach;           
    }

    public String getApproach() {
        return approach;
    }

    public abstract void pipe(InputStream is, OutputStream os) throws IOException;
}

输出（~4MB 输入文件）：

Fixed Buffer Read
Execution Time = 71 millis
============================================
dynamic Buffer Read
Execution Time = 167 millis
============================================
Byte Read
Execution Time = 29124 millis
============================================
NIO Read
Execution Time = 125 millis
============================================

'Dynamic Buffer Read' 使用available()方法。但是根据java docs它是不可靠的

使用此方法的返回值来分配旨在保存此流中所有数据的缓冲区是不正确的。

“字节读取”似乎很慢。

那么“固定缓冲区读取”是管道的最佳选择吗？有什么想法吗？

score 16 · Accepted Answer

爪哇 9

由于 Java 9 可以从以下位置使用此方法InputStream：

public long transferTo(OutputStream out) throws IOException

前 Java 9

来自apache commons的单行代码：

IOUtils.copy(inputStream, outputStream);

文档在这里。有多种copy方法具有不同的参数。也可以指定缓冲区大小。

score 14 · Accepted Answer

我遇到了这个，最后的阅读可能会导致问题。

建议更改：

public void pipe(InputStream is, OutputStream os) throws IOException {
  int n;
  byte[] buffer = new byte[1024];
  while((n = is.read(buffer)) > -1) {
    os.write(buffer, 0, n);   // Don't allow any extra bytes to creep in, final write
  }
 os.close ();

我也同意 16384 可能是比 1024 更好的固定缓冲区大小。

恕我直言...

score 12 · Accepted Answer

我会说固定缓冲区大小是最好/最容易理解的。但是也有一些问题。

您每次都将整个缓冲区写入输出流。对于最后一个块，读取可能已读取 < 1024 字节，因此您需要在执行写入时考虑到这一点（基本上只写入返回的字节数 read()
在您使用的动态缓冲区情况下available()。这不是一个非常可靠的 API 调用。在这种情况下，我不确定在循环内部是否可以，但如果它在 InputStream 的某些实现中实现次优，我不会感到惊讶。
您要转换到的最后一个案例FileInputStream。如果您打算将此用作通用目的，则不能使用此方法。

score 6 · Accepted Answer

java.io包含PipedInputStream和PipedOutputStream

PipedInputStream input = new PipedInputStream();
PipedOutputStream output = new PipedOutputStream (input);

写入输入，它将在输出中显示为Outputstream. 事情也可以反过来

java - 将 InputStream 传输到 OutputStream 的最佳方法

4 回答 4

Related

Reference