amazon-redshift - 如何在 SQL Workbench/J 上提高导入速度

Question

尝试如下，但导入速度非常慢，速度为 3 行/秒

WbImport -file=c:/temp/_Cco_.txt
         -table=myschema.table1
         -filecolumns=warehouse_id,bin_id,cluster_name
         ---deleteTarget
         -batchSize=10000
         -commitBatch 

Answer 1

WbInsert 可以使用 Postgres JDBC 驱动程序的COPY API。

要使用它，请使用

WbImport -file=c:/temp/_Cco_.txt
         -usePgCopy
         -table=myschema.table1
         -filecolumns=warehouse_id,bin_id,cluster_name

在这种情况下，选项-batchSize和-commitBatch被忽略，因此您应该删除它们。

然后 SQL Workbench/J 将基本上使用COPY ... FROM STDIN. 这应该比常规的 INSERT 语句快得多。

这要求输入文件按照 COPY 命令的要求进行格式化。

Answer 2

WbImport用于INSERT加载数据。这是将数据加载到 Redshift中最糟糕的方式。

您应该使用COPYRedshift 文档中所述的命令：

“我们强烈建议使用 COPY 命令加载大量数据。使用单独的 INSERT 语句填充表可能会非常慢。”