java - 存储查询结果的有效方法？

Question

我有一个要求，比如select以固定的时间间隔运行“n”个查询并存储该数据。这些结果需要稍后根据客户的要求提取。

我的问题是：

• 1）可以将其存储为csv文件吗？或者你能建议另一种格式吗？
• 2）或者，它应该作为clob变量存储在数据库中吗？

请建议任何压缩技术来存储这些查询结果；另外，是否可以只存储以前结果集的修订而不是存储整个结果集？

笔记：

• 最小时间间隔为每小时。
• 查询数 (n) 会有所不同（目前为 10 到 200 个查询。）
• 每个查询的结果集大小也各不相同（比如 10 到 1,000,000，但大多在 10k 左右。）
• 在每个时间间隔之间获取的结果集数据差别不大。（行值不会经常更新。）

我是计算机科学和编程的新手，也不太了解存储或数据库设计。

Answer 1

听起来你应该建立一个数据仓库。

Answer 2

性能方面，我认为最好有一个用于存储查询结果的表。

Answer 3

我认为您需要将数据存储在数据库中。SQL数据库可以为您提供最好的服务。关于以固定的时间间隔存储数据，只需要使数据集中的变化生效，而不是一次又一次地存储整个数据。我不知道您的要求是什么以及您能负担得起多少基础设施。如果你有这么大的查询，我建议你在分布式系统中工作。使用 NOSQL 数据库以获得更好的性能。