sql - 在带有 presto 驱动程序的 sql workbench/j 上使用 wbimport

Question

所以我正在使用工作台将一个 160k 行的文本文件导入表格代码是：

Wbimport
-usepgcopy
-type=text
-endrow=164841
-file=‘book1.csv’
-table=it.table1
-delimiter=,
-multiline=true

所以我用我的 160k 行文件的 3 行版本尝试了这个，它在几秒钟内完成。这似乎只在自动提交模式下完成，当我尝试在完整的 160k 行文件上运行它时，它需要 200 多小时才能完成任何想法 - 或替代方案。

我正在使用工作台构建 125 和 presto jdbc-0.216

谢谢

Answer 1

最可能的原因是整个事务变得很大，这对 wbimport 和 jdbc 连接施加了太大的负载。如果您将其分解为单独的导入，例如每次导入 1000 条记录，它可能会工作得更快。

如果您先将文件切割成多个文件，然后一次导入一个，您也可以避免重复读取大文件以找到正确的记录。