假设我有一个非常大的包含数据的文件。解析器解析它并将数据保存在以下类中:
Class Data{
DataHeader header;
List<DataLine> lines;
...
}
在将这些数据保存在数据库中之前,我对其进行了一些验证和处理。只有在没有错误的情况下,我才会坚持下去。
数据文件如下所示:
DATAHEADER|.......
DATALINE|1|....
DATALINE|2|....
... and so on
要在有限的 JVM 内存中处理这个文件,应该分批处理它,并确保它只有在没有任何错误的情况下才会被持久化。感谢您在设计解决方案方面的帮助。