1

我公司维护着多个大型的过程数据时间序列数据库。我们在伪中心位置实现子集的副本。我从笔记本电脑访问数据。通过我们的内部 WAN 甚至对伪中央服务器的数据访问都相当昂贵(时间)。

我想在我的笔记本电脑上本地缓存数据请求,这样当我第二次访问它时,我实际上是从本地数据库中提取数据的。

我可以包装一个相当丑陋的客户端 DAO 来维护缓存,但我不确定如何让“官方”客户端应用程序轻松地与缓存通信。我可以自由地编写自己的“客户端”绘图/绘图系统,并且已经拥有一个自定义应用程序,该应用程序已经实现了一些数据挖掘。自定义应用程序将数据转储到 .csv 文件中,这些文件是在非常临时的基础上手动移动的。

这种缓存/同步的最佳方法是什么?什么工具可以实现缓存?

有关更多信息,我估计原始数据集每年大约有 5-8Tb 的原始时间序列数据,其中至少有一半的数据非常可压缩。我只想在本地缓存几百 Mb。当对数据进行临时查询时,它往往会在非常小的数据块上非常重复。

4

0 回答 0