我正在设计一个数据管理器,用于聚合从自主水下航行器收集的大型 CSV 文件。时间分辨率非常好,因此这些文件在长时间运行时会变得非常大。它收集了很多参数,俯仰、滚动、高度等。我正在研究为此使用嵌入式 Apache Derby 数据库。我已经看到 derby 确实可以批量导入 CSV 文件,但是导入的大小可能会有一些限制。
我的问题是,嵌入式数据库是否非常适合此应用程序?如果是这样,在为这种特定类型的数据创建表时应该考虑什么。我对数据库的经验仅限于 Web 应用程序的少量持久数据的反应性。
这是我正在处理的数据类型的示例。它们通常被拆分为多个文件以进行一次运行,每个文件大约 10,000 行,最多 80 列。