mysql - 使用 LOAD DATA INFILE 导入 MySQL 表时如何跳过 CSV 文件中的列？

Question

我有一个包含 11 列的 CSV 文件，我有一个包含 9 列的 MySQL 表。

CSV 文件如下所示：

col1, col2, col3, col4, col5, col6, col7, col8, col9, col10, col11

MySQL 表如下所示：

col1, col2, col3, col4, col5, col6, col7, col8, col9

我需要将 CSV 文件的第 1-8 列直接映射到 MySQL 表的前 8 列。然后我需要跳过 CSV 文件中的接下来的两列，然后将 CSV 文件的第 11 列映射到 MySQL 表的第 9 列。

目前我正在使用以下 SQL 命令：

LOAD DATA LOCAL INFILE 'filename.csv' INTO TABLE my_table
FIELDS TERMINATED BY ','
ENCLOSED BY ''
LINES TERMINATED BY '\n'

但是上面的代码将 CSV 文件的前 9 列映射到 MySQL 表中的 9 列。

Answer 1

来自 Mysql 文档：

您还可以通过将输入值分配给用户变量而不将变量分配给表列来丢弃输入值：

LOAD DATA INFILE 'file.txt'  
INTO TABLE t1 (column1, @dummy, column2, @dummy, column3);

Answer 2

step1.处理awk。

cat file.txt |awk '{print $1,$2,$5...}'>new_file.txt

step2.加载到mysql。

load data local infile 'new_file' into table t1(...)

下面的方法很简单，但是在低版本的mysql中是不允许的。

LOAD DATA INFILE 'file.txt'  
INTO TABLE t1 (column1, @dummy, column2, @dummy, column3);

Answer 3

@迪米：

忽略的唯一方法@dummy是将字段的默认设置为AUTO INCREMENT。所以你可以跳过这个字段，只写这样的代码，

LOAD DATA INFILE 'file.txt'  
INTO TABLE t1 (column2, column3, column4, column5);

//假设字段名默认column1设置为AUTO INCREMENT。

Answer 4

我认为代码中还有一个变化：

以下 SQL 命令：

LOAD DATA LOCAL INFILE 'filename.csv' INTO TABLE my_table
FIELDS TERMINATED BY ','
ENCLOSED BY ''
LINES TERMINATED BY '\n'

- 可能会导致数据截断错误。

所以最好使用LINES TERMINATED BY '\r\n'而不是LINES TERMINATED BY '\n'

所以代码将是：

LOAD DATA LOCAL INFILE 'filename.csv' INTO TABLE my_table
FIELDS TERMINATED BY ','
ENCLOSED BY ''
LINES TERMINATED BY '\r\n'