有人可以帮我解决这些问题。我有非常大的文件(带有 5 列的 csv 格式)aprox 500Mb-1Gb 我需要插入到 greenplum 数据库中。我使用源文件通过选项 --mode=lines 读取这些文件并接收 gpfdist 以将这些数据导入 greenplum,但此操作的速度非常非常差。这个怎么调??我尝试更改选项 batchcount flushcount flushtime batchtime 等,但没有运气。使用 gpload 只需 ~20-30 秒即可插入文件 ~800Mb。
文件 --directory=/data --filename-pattern=*.csv --mode=lines --prevent-duplicates=false --markers-json=false | gpfdist --db-user=**** --db-name=**** --column-delimiter=, --mode=insert --gpfdist-port=8000 --db-password=**** --db-host=**** --table=test --flush-count=200 --batch-count=1000000 --batch-period=2
tnx