我有一个针对复杂问题的多目标粒子群优化算法，它使用大量（4000 个粒子）并且是一个耗时的模拟（执行 4 - 6 小时）。
由于算法保存了一个存档，一个迄今为止找到的最佳解决方案的存储库，为了分析算法收敛和行为，我需要从这个存储库中保存一些数据，有时在每次迭代时从整个种群中保存一些数据。
目前在每次迭代中，我（用 Java 语言）从粒子的对象（从存储库和/或总体）复制一些属性，将其格式化为 StringBuffer，该方法在与模拟不同的线程中运行，并且仅在程序执行结束我将它保存到一个文本文件中。
我认为我的算法这样做会以一种糟糕的方式消耗内存。但是考虑到性能，我不知道保存所有这些数据的最佳方法是什么：我应该遵循相同的逻辑，但每次迭代都保存一个 .txt 文件，而不是在算法结束时保存吗？还是我应该保存到数据库？如果是这样，我应该在每次迭代中还是在最后或其他时间保存它？还是我应该以不同的方式处理它？
编辑：存储库数据通常在 [5 - 10] MB 范围内，而人口数据占用 [100 - 200] MB 内存。每次我运行程序时，我都需要大约 20 次模拟来分析平均收敛性。