postgresql - 将数据加载到新 CitusDB 实例中的最快方法是什么？

Question

我正在使用以下命令按照有关Scaling Out Data Ingestion的说明进行操作：

find . -type f | xargs -n 1 -P 320 sh -c 'echo $0 `copy_to_distributed_table -C $0 table_name`'

我的集群有一个 master 和 8 个 worker，每个 worker 有两个 SSD。该表分布在 320 个分片中。

数据加载需要很长时间。平均插入率似乎约为每分钟 750k。这是正常的还是有办法加快速度？

我唯一能想到的是我启用了复制。是否应该关闭加载然后重置？

Answer 1

我假设您想使用哈希分区。如果是这种情况，我们不赞成使用copy_to_distributed_table分布式COPY。COPY提供原生 PostgreSQL 体验，解决多个已知问题，并将摄取性能提高一个数量级以上。现在可以从本月发布的 Citus 5.1 开始使用，并且可以在官方 PostgreSQL Linux 软件包存储库(PGDG) 中使用。