data-processing - 日志文件变得巨大。解决方案需要在主内存中打开它

Question

我有一个巨大的 Java 应用程序日志文件，无法在主内存中打开。我想将此文件拆分为足以在主内存中打开的等效部分。我怎样才能做到这一点 ？以及如何确保最后一行拆分不在中间而是在行尾？

Answer 1

您想要操作一个大文本文件，它来自 Java 的事实并不重要。

在 Unix 上，您可以使用命令 wc 来查看文件中有多少行，并使用命令 split 来拆分文件。在其他平台（例如 windows）上，有这些命令的实现，例如来自 cygwin。

但是为什么要将片段加载到内存中？如果您正在搜索某些东西，请使用 baregrap 和文件查看器等工具。