java - 使用 Bytebuffers 和 NIO 时如何避免 OutOfMemoryError？

Question

我正在使用ByteBuffers并将FileChannels二进制数据写入文件。当为大文件或连续为多个文件执行此操作时，我得到一个OutOfMemoryError例外。我在其他地方读到过，Bytebuffers与 NIO 一起使用是坏的，应该避免。你们中是否有人已经遇到过此类问题并找到了一种解决方案，可以有效地将大量二进制数据保存在 java 文件中？

jvm选项-XX:MaxDirectMemorySize是要走的路吗？

Answer 1

我想说不要一次创建一个包含所有数据的巨大 ByteBuffer。创建一个小得多的 ByteBuffer，用数据填充它，然后将这些数据写入 FileChannel。然后重置 ByteBuffer 并继续，直到所有数据都被写入。

Answer 2

查看 Java 的映射字节缓冲区，也称为“直接缓冲区”。基本上，这种机制使用操作系统的虚拟内存分页系统将缓冲区直接“映射”到磁盘。操作系统将自动、非常快速地管理在磁盘和内存之间移动字节，您不必担心更改虚拟机选项。这也将允许您利用 NIO 对传统基于 Java 流的 i/o 的改进性能，而无需任何奇怪的 hack。

我能想到的唯一两个问题是：

1. 在 32 位系统上，所有映射字节缓冲区的总大小限制在 4GB 以下。（这实际上是我的应用程序的一个限制，我现在在 64 位架构上运行。）
2. 实现是 JVM 特定的，不是必需的。我用的是Sun的JVM，没有问题，但是YMMV。

Kirk Pepperdine（有点著名的 Java 性能专家）参与了一个网站 www.JavaPerformanceTuning.com，该网站有更多 MBB 详细信息：NIO 性能提示

Answer 3

如果您以随机方式访问文件（在此处阅读、跳过、在此处写入、后退），那么您就有问题了 ;-)

但是如果你只写大文件，你应该认真考虑使用流。java.io.FileOutputStream可以直接用于逐字节写入文件或包装在任何其他流（即DataOutputStream，ObjectOutputStream）中，以便于编写浮点数、整数、字符串甚至可序列化对象。存在用于读取文件的类似类。

流为您提供了在（几乎）任意小的内存中操作任意大文件的便利。在绝大多数情况下，它们是访问文件系统的首选方式。

Answer 4

前两个回答似乎很合理。至于命令行开关是否会起作用，这取决于您的内存使用量达到限制的速度。如果您没有足够的可用内存和虚拟内存来至少将可用内存增加三倍，那么您将需要使用给出的替代建议之一。

Answer 5

使用transferFrom方法应该对此有所帮助，假设您以增量方式写入通道，而不是像以前的答案所指出的那样一次全部写入。

Answer 6

这可能取决于特定的 JDK 供应商和版本。

某些 Sun JVM 中的 GC 存在错误。直接内存不足不会触发主堆中的 GC，但直接内存被主堆中的垃圾直接 ByteBuffers 固定。如果主堆大部分是空的，那么它们很长一段时间都不会被收集。

即使您自己不使用直接缓冲区，这也会烧毁您，因为 JVM 可能会代表您创建直接缓冲区。例如，将非直接 ByteBuffer 写入 SocketChannel 会在后台创建一个直接缓冲区以用于实际的 I/O 操作。

解决方法是自己使用少量直接缓冲区，并保留它们以供重用。