7

请多多包涵，因为这是我的第一篇文章。

我正在尝试在 PostgreSQL-9.2 中运行COPY命令，以将 .txt 文件中的制表符分隔表添加到 PostgreSQL 数据库中，例如：

COPY raw_data FROM '/home/Projects/TestData/raw_data.txt' WITH (DELIMITER ' ');

我已经使用 SQL 命令在数据库中创建了一个名为“raw_data”的空表：

CREATE TABLE raw_data ();

尝试运行COPY命令时，我不断收到以下错误消息：

ERROR:  extra data after last expected column
CONTEXT:  COPY raw_data, line 1: "  1   2   3   4   5   6   7   8   9   10  11  12  13  14  15  16  17  18  19  20  21  22  23  24  25  26  27  28  29  30  31  32  33  34  35  36  ..."

（这里的数字应该是列标题）

我不确定是不是因为我在创建 db 表时没有指定表列，但我试图避免手动输入 800 或列。

对于如何解决这个问题，有任何的建议吗？

以下是 .txt 文件的示例：

        1   2   3   4   5   6   7   8   9
binary1 1   1   0   1   1   1   1   1   1
binary2 1   0   0   1   0   1   1   0   0
binary3 1   0   1   1   1   0   0   1   0
binary4 1   1   1   1   0   1   0   1   0
4

2 回答 2

12

一张空桌子是不行的。您需要与输入数据结构匹配的表。就像是：

CREATE TABLE raw_data (
  col1 int
, col2 int
  ...
);

您无需声明tab为，DELIMITER因为这是默认设置：

COPY raw_data FROM '/home/Projects/TestData/raw_data.txt';

你说800列？这么多列通常表明您的设计存在问题。CREATE TABLE无论如何，有一些方法可以使脚本半自动化。

自动化

假设简化的原始数据

1   2   3   4  -- first row contains "column names"
1   1   0   1  -- tab separated
1   0   0   1
1   0   1   1

定义一个不同的DELIMITER（根本不会出现在导入数据中的），并导入到具有单个text列的临时登台表：

CREATE TEMP TABLE tmp_data (raw text);

COPY tmp_data FROM '/home/Projects/TestData/raw_data.txt' WITH (DELIMITER '§');

此查询创建CREATE TABLE脚本：

SELECT 'CREATE TABLE tbl (col' || replace (raw, E'\t', ' bool, col') || ' bool)'
FROM   (SELECT raw FROM tmp_data LIMIT 1) t;

更通用和更安全的查询：

SELECT 'CREATE TABLE tbl('
    ||  string_agg(quote_ident('col' || col), ' bool, ' ORDER  BY ord)
    || ' bool);'
FROM  (SELECT raw FROM tmp_data LIMIT 1) t
     , unnest(string_to_array(t.raw, E'\t')) WITH ORDINALITY c(col, ord);

回报：

CREATE TABLE tbl (col1 bool, col2 bool, col3 bool, col4 bool);

在验证有效性后执行 - 如果您信任结果，则动态执行：

DO
$$BEGIN
EXECUTE (
   SELECT 'CREATE TABLE tbl (col' || replace(raw, ' ', ' bool, col') || ' bool)'
   FROM  (SELECT raw FROM tmp_data LIMIT 1) t
   );
END$$;

然后INSERT使用此查询的数据：

INSERT INTO tbl
SELECT (('(' || replace(replace(replace(
                  raw
                , '1',   't')
                , '0',   'f')
                , E'\t', ',')
             || ')')::tbl).*
FROM   (SELECT raw FROM tmp_data OFFSET 1) t;

或者更简单translate()：

INSERT INTO tbl
SELECT (('(' || translate(raw, E'10\t', 'tf,') || ')')::tbl).*
FROM   (SELECT raw FROM tmp_data OFFSET 1) t;

字符串被转换为行文字，转换为新创建的表行类型并用(row).*.

全部完成。

您可以将所有这些放入 plpgsql 函数中，但您需要防止 SQL 注入。（这里有许多相关的解决方案。尝试搜索。

db<>fiddle here
旧 SQL Fiddle

于 2013-05-03T21:08:49.860 回答
1

您可以直接从复制命令创建表，查看 COPY 中的 HEADER 选项，例如： COPY FROM '/path/to/csv/SourceCSVFile.csv' DELIMITERS ',' CSV HEADER

于 2013-06-07T11:15:27.360 回答