我正在尝试以压缩的apache parquet格式存储/保留 kdb 表。我最初的计划基本上是使用embedPy将fastparquet或pyarrow.parquet转换为可在 q 中使用。然后,我将使用 kdb+ tick 架构来处理传入的 tick,并每天将 parquet 批量写入磁盘。这是个好主意吗?否则将大量数据保存到磁盘的最佳方法是什么?谢谢
我正在尝试以压缩的apache parquet格式存储/保留 kdb 表。我最初的计划基本上是使用embedPy将fastparquet或pyarrow.parquet转换为可在 q 中使用。然后,我将使用 kdb+ tick 架构来处理传入的 tick,并每天将 parquet 批量写入磁盘。这是个好主意吗?否则将大量数据保存到磁盘的最佳方法是什么?谢谢