3

我正在使用ByteBuffers并将FileChannels二进制数据写入文件。当为大文件或连续为多个文件执行此操作时,我得到一个OutOfMemoryError例外。我在其他地方读到过,Bytebuffers与 NIO 一起使用是坏的,应该避免。你们中是否有人已经遇到过此类问题并找到了一种解决方案,可以有效地将大量二进制数据保存在 java 文件中?

jvm选项-XX:MaxDirectMemorySize是要走的路吗?

4

6 回答 6

7

我想说不要一次创建一个包含所有数据的巨大 ByteBuffer。创建一个小得多的 ByteBuffer,用数据填充它,然后将这些数据写入 FileChannel。然后重置 ByteBuffer 并继续,直到所有数据都被写入。

于 2008-08-26T17:26:45.953 回答
5

查看 Java 的映射字节缓冲区,也称为“直接缓冲区”。基本上,这种机制使用操作系统的虚拟内存分页系统将缓冲区直接“映射”到磁盘。操作系统将自动、非常快速地管理在磁盘和内存之间移动字节,您不必担心更改虚拟机选项。这也将允许您利用 NIO 对传统基于 Java 流的 i/o 的改进性能,而无需任何奇怪的 hack。

我能想到的唯一两个问题是:

  1. 在 32 位系统上,所有映射字节缓冲区的总大小限制在 4GB 以下。(这实际上是我的应用程序的一个限制,我现在在 64 位架构上运行。)
  2. 实现是 JVM 特定的,不是必需的。我用的是Sun的JVM,没有问题,但是YMMV。

Kirk Pepperdine(有点著名的 Java 性能专家)参与了一个网站 www.JavaPerformanceTuning.com,该网站有更多 MBB 详细信息:NIO 性能提示

于 2008-08-26T18:01:52.420 回答
1

如果您以随机方式访问文件(在此处阅读、跳过、在此处写入、后退),那么您就有问题了 ;-)

但是如果你只写大文件,你应该认真考虑使用流。java.io.FileOutputStream可以直接用于逐字节写入文件或包装在任何其他流(即DataOutputStreamObjectOutputStream)中,以便于编写浮点数、整数、字符串甚至可序列化对象。存在用于读取文件的类似类。

流为您提供了在(几乎)任意小的内存中操作任意大文件的便利。在绝大多数情况下,它们是访问文件系统的首选方式。

于 2008-08-26T17:35:50.767 回答
0

前两个回答似乎很合理。至于命令行开关是否会起作用,这取决于您的内存使用量达到限制的速度。如果您没有足够的可用内存和虚拟内存来至少将可用内存增加三倍,那么您将需要使用给出的替代建议之一。

于 2008-08-26T18:02:58.703 回答
0

使用transferFrom方法应该对此有所帮助,假设您以增量方式写入通道,而不是像以前的答案所指出的那样一次全部写入。

于 2008-08-26T18:51:13.393 回答
0

这可能取决于特定的 JDK 供应商和版本。

某些 Sun JVM 中的 GC 存在错误。直接内存不足不会触发主堆中的 GC,但直接内存被主堆中的垃圾直接 ByteBuffers 固定。如果主堆大部分是空的,那么它们很长一段时间都不会被收集。

即使您自己不使用直接缓冲区,这也会烧毁您,因为 JVM 可能会代表您创建直接缓冲区。例如,将非直接 ByteBuffer 写入 SocketChannel 会在后台创建一个直接缓冲区以用于实际的 I/O 操作。

解决方法是自己使用少量直接缓冲区,并保留它们以供重用。

于 2008-09-26T15:14:51.200 回答