“在 vertica 数据库中加载数据的最快方法是什么？如果我有 100 GB 的数据，我需要以快速有效的方式将这些数据加载到 vertica 表中。”
问问题
79 次
1 回答
2
我想说最快的是标准的 COPY 命令：
COPY myschema.mytable FROM '/data/common/mytable.csv' ON ANY NODE
加上列分隔符、字符串包围符、错误处理等的任何其他必要参数。
并且，/data/common在这里，将是一个文件位置，它通过 NFS 挂载到 Vertica 的所有节点上的同一目录中。
如果/data/common/mytable.csv未压缩，您还允许分配负载：例如，如果您有 8 个解析流，则每个将获取完整文件量的 1/8（导航到最近的换行符或其他记录分隔符）并仅解析该部分, 全部并行。
我无法想象更快的方法 - 希望这会有所帮助。
于 2019-09-30T14:23:22.550 回答