copy - Greenplum COPY 不过滤重复条目

Question

使用 COPY 命令将内容加载到绿色梅花表时出现问题。我所拥有的是三列表格，可以说 A ， B ， C 并且表格不应该包含重复的元素。所以我做了一个复合键，将上述三个

PRIMARY KEY ( A , B , C )

但是我用来加载表格的输入文件有重复的条目。我想要的只是 COPY 命令来过滤掉重复的元素并继续加载数据。但在我的情况下，只要 COPY 遇到重复条目，它就会中止加载。关于如何进行的任何线索？

谢谢

加内什

Answer 1

COPY 不能那样工作。

我要尝试的第一件事是系统排序。

sort -u old_filename > new_filename

'-u' 参数告诉sort只输出唯一的行。