我读到了 Dremio 的数据反射。但看起来每次 s3 中的基础数据发生变化时,反射都会完全重新加载。由于我计划利用 Dremio 反射来预煮一些聚合,加入几个维度和事件,并且事件数据每分钟/秒都在快速增长:我不希望 Dremio 每次重新加载整个反射(预煮聚合)时间有一个新的事件。
预煮的聚合(反射)本身应该按日期/月份分区,我希望 Dremio 仅重新加载反射分区的最后 n 天,而不是刷新反射中所有 5 年或 10 年的数据。这是因为我知道对于超过 n 天的维度不会有新事件。因此,为旧数据一次又一次地重新计算所有这些聚合是没有意义的。我想要的只是重新计算过去 n 天的聚合,但将剩余数据保持原样,永远在反射中。[某种批量更新要求,但前提是反射是不可变的——我所需要的只是配置删除最后 n 个分区并仅重新加载它们的能力]
Dremio 可以做到这一点吗?