1

我正在尝试将大小为 400000000 的大型长数组写入文件，然后将其读回。我正在使用的代码如下：

import java.io.*;
import java.nio.*;
import java.nio.channels.FileChannel;
import java.io.RandomAccessFile ;
import java.util.* ;

class Checks {
public static FileChannel channel;
public static MappedByteBuffer mbb;

public static void main(String[] args){
    try{


      long k[] = new long[400000000] ;
          for(int i = 0 ; i < 400000000 ; i++){
            k[i] = i ;
          }

    channel = new RandomAccessFile("abc.dat", "rw").getChannel();
        mbb = channel.map(FileChannel.MapMode.READ_WRITE, 0, 1 << 24);
        mbb.order(ByteOrder.nativeOrder());

          for(int i = 0 ; i < 400000000 ;i++ ){
             getMbb().putLong(k[i]);
        }

        channel.close();

       long ks[] = new long[400000000] ;

        channel = new RandomAccessFile("abc.dat", "rw").getChannel();
        mbb = channel.map(FileChannel.MapMode.READ_WRITE, 0, 1 << 24);
        mbb.order(ByteOrder.nativeOrder());

        for(int r = 0 ; r < 400000000; r++){
            ks[r] = getMbb().getLong();
         }

             for(int r = 0 ; r < 400000000; r++){
                 if(k[r] != ks[r]){
                  System.out.println("Error at " + r);
                  break ;
                  }
              }


}
    catch(Exception e)
    {
        e.printStackTrace();
    }

   }

    public static ByteBuffer getMbb() throws IOException {
        if (mbb.remaining() <= 0) {
            mbb = channel.map(FileChannel.MapMode.READ_WRITE, channel.size(), 1 << 24);
            mbb.order(ByteOrder.nativeOrder());
        }
        return mbb;
    }
}

但是，此代码给出了写入和读取数组不相同的错误。任何人都可以帮助我为什么会发生这种情况？

4

4 回答 4

2

在关闭通道之前，尝试强制对映射缓冲区所做的更改到磁盘：

 mbb.force();

这样，如果您使用存储在本地设备上的文件，您可以保证对映射缓冲区所做的所有更改都将反映在磁盘上。

考虑到您只附加到文件，完成您想要的另一种方法是：

  channel = new RandomAccessFile("abc.dat", "rw").getChannel();

  ByteBuffer buffer = ByteBuffer.allocate(Long.SIZE/8 * 1001);
  for(int i = 0 ; i < 400000000 ;i++ ){
     //write a number of byte to a ByteBuffer
      buffer.putLong(k[i]);
      if(i % 1000 == 0){
          channel.write(buffer);
          buffer.clear();
      }
   }
   channel.write(buffer);
   buffer.clear();

阅读：

    buffer.clear();
    int bytesCnt;
    while((bytesCnt = channel.read(buffer))!=-1){
    for(int r = 0 ; r < bytesCnt; r++){
        ks[r] = buffer.getLong();
     }
    }

关于性能：在执行 I/O 的应用程序中，性能损失是由于查找次数所致。因此，寻道次数越少，性能就越高。这相当于以顺序方式写入尽可能多的数据（<=> 较少数量的刷新到磁盘；刷新意味着，实际上是一次查找） 。

在您的场景中，数据仅以顺序方式写入（附加到文件中），因此唯一需要担心的是刷新到磁盘的次数；这个数字与缓冲区的大小成反比。所以你应该尽量增加缓冲区的大小。

于 2012-08-15T20:31:24.727 回答
2

这是我的建议：

public static void main(String[] args) {

  File f = new File("abc.txt");

  DataOutputStream s = new DataOutputStream( new FileOutputStream(f));

  for ( int i = 0; i < 400000000; i++ ) {
    s.writeLong(i);
  }
  s.close();

  DataInputStream is = new DataInputStream( new FileInputStream(f));
  for (int i = 0; i < 400000000; i++ ) {
    if ( i != is.readLong() ) System.out.println("Error at " + i);
  }
}

这完成了您的程序所做的所有事情，但没有显式分配内存，当然也没有通过内存映射缓冲区复制该分配。如果这个解决方案真的适用于你真正想做的事情很难说，因为你没有说这是为了什么。

于 2012-08-15T21:21:17.580 回答
1

我修改了您的代码以使用DataInputStream和DataOutputStream而不是 RandomAccessFile，它就像一个魅力。

    try {
        long k[] = new long[400000000];
        for (int i = 0; i < k.length; i++) {
            k[i] = i;
        }

        DataOutputStream dos = new DataOutputStream(new FileOutputStream("abc.dat"));
        for (int i = 0; i < k.length; i++) {
            dos.writeLong(k[i]);
        }

        long ks[] = new long[k.length];

        DataInputStream dis = new DataInputStream(new FileInputStream("abc.dat"));

        for (int r = 0; r < ks.length; r++) {
            ks[r] = dis.readLong();
        }

        for (int r = 0; r < k.length; r++) {
            if (k[r] != ks[r]) {
                System.out.println("Error at " + r);
                break;
            }
        }
    } catch(Exception e) {
    } finally {
        // Make sure to close the streams
        dos.close();
        dis.close();
    }
于 2012-08-15T21:34:48.093 回答
1

我认为你的getMbb()方法是错误的。每次重新映射内存中的文件块时，都会映射到channel.size(). 这仅在您创建文件时有效，但在您阅读文件时无效。当您阅读文件时，您映射文件末尾之后的文件“区域”，并且具有随机内容。

您将不得不修复重新映射代码以跟踪您已经在文件中的位置。

于 2012-08-15T21:53:41.157 回答