postgresql - ERROR: COPY delimiter must be a single one-byte character

Question

I want to load the data from a flat file with delimiter "~,~" into a PostgreSQL table. I have tried it as below but looks like there is a restriction for the delimiter. If COPY statement doesn't allow multiple chars for delimiter, is there any alternative to do this?

metadb=# \COPY public.CME_DATA_STAGE_TRANS FROM 'E:\Infor\Outbound_Marketing\7.2.1\EM\metadata\pgtrans.log' WITH      DELIMITER AS '~,~'
ERROR:  COPY delimiter must be a single one-byte character
\copy: ERROR:  COPY delimiter must be a single one-byte character

Answer 1

如果您使用的是Vertica，则可以使用 E'\t' 或 U&'\0009'

要指示非打印分隔符（例如制表符），请以扩展字符串语法 (E'...') 指定字符。如果您的数据库启用了 StandardConformingStrings，请使用 Unicode 字符串文字 (U&'...')。例如，使用 E'\t' 或 U&'\0009' 将制表符指定为分隔符。

Answer 2

显而易见的事情是所有其他答案所建议的。编辑导入文件。我也会那样做。

但是，作为概念证明，这里有两种无需额外工具即可完成此任务的方法。

1）通用解决方案

CREATE OR REPLACE FUNCTION f_import_file(OUT my_count integer)
  RETURNS integer AS
$BODY$
DECLARE
    myfile    text;  -- read xml file into that var.
    datafile text := '\path\to\file.txt'; -- !pg_read_file only accepts relative path in database dir!
BEGIN

myfile := pg_read_file(datafile, 0, 100000000);  -- arbitrary 100 MB max.

INSERT INTO public.my_tbl
SELECT ('(' || regexp_split_to_table(replace(myfile, '~,~', ','), E'\n') || ')')::public.my_tbl;

-- !depending on file format, you might need additional quotes to create a valid format.

GET DIAGNOSTICS my_count = ROW_COUNT;

END;
$BODY$
  LANGUAGE plpgsql VOLATILE;

这使用了许多非常高级的功能。如果有人真正感兴趣并需要解释，请在这篇文章中发表评论，我会详细说明。

2) 特殊情况

如果您可以保证 '~' 仅出现在分隔符 '~,~' 中，那么在这种特殊情况下您可以继续使用普通的 COPY。只需将 '~,~' 中的 ',' 视为附加列。说，你的桌子看起来像这样：

CREATE TABLE foo (a int, b int, c int);

然后您可以（在一笔交易中）：

CREATE TEMP TABLE foo_tmp ON COMMIT DROP (
 a int, tmp1 "char"
,b int, tmp2 "char"
,c int);

COPY foo_tmp FROM '\path\to\file.txt' WITH DELIMITER AS '~';

ALTER TABLE foo_tmp DROP COLUMN tmp1;
ALTER TABLE foo_tmp DROP COLUMN tmp2;

INSERT INTO foo SELECT * FROM foo_tmp;

Answer 3

不幸的是，没有办法~,~在 Postgres 中加载带有多个字符分隔符的平面文件，除非您想以某种（极好的）方式自己修改源代码（当然还要重新编译）：

/* Only single-byte delimiter strings are supported. */
if (strlen(cstate->delim) != 1)
    ereport(ERROR,
        (errcode(ERRCODE_FEATURE_NOT_SUPPORTED),
    errmsg("COPY delimiter must be a single one-byte character")));

您想要的是使用一些外部工具预处理您的输入文件，例如sed可能是 GNU/Linux 平台上的最佳伴侣，例如：

sed s/~,~/\\t/g inputFile

Answer 4

不太确定您是在寻找 postgresql 解决方案还是一般的解决方案。

如果是我，我会打开 vim（或 gvim）的副本并运行:%s/~,~/~/g
将所有“~，~”替换为“~”的推荐。

Answer 5

您可以使用单个字符分隔符，打开notepad按ctrl+h替换~,~不会干扰的东西。喜欢|