bash - bash方法从csv文件中删除最后4列

Question

有没有办法使用 bash 删除某些输入 CSV 文件的最后四列？最后四列的字段长度因行而异，因此仅从每行末尾删除一定数量的字符是不够的。

Answer 1

如果所有行都具有相同数量的字段，则 Cut 可以执行此操作，如果没有，则可以使用 awk。

cut -d, -f1-6 # assuming 10 fields

如果要控制输出分隔符，将打印出前 6 个字段，使用 --output-delimiter=string

awk -F , -v OFS=, '{ for (i=1;i<=NF-4;i++){ printf $i, }; printf "\n"}'

循环最多字段数为 -4 的字段并将它们打印出来。

Answer 2

cat data.csv | rev | cut -d, -f-5 | rev

rev反转行，因此所有行是否具有相同数量的列都没有关系，它总是会删除最后 4 列。这仅适用于最后 4 列本身不包含任何逗号的情况。

Answer 3

cut如果您知道列数，则可以使用它。例如，如果您的文件有 9 列，并且逗号是您的分隔符：

cut -d',' -f -5

但是，这假设您的 csv 文件中的数据不包含任何逗号。 cut也会将引号内的逗号解释为分隔符。

Answer 4

awk -F, '{NF-=4; OFS=","; print}' file.csv

或者

awk -F, -vOFS=, '{NF-=4;print}' file.csv

将从每行删除最后 4 列。

Answer 5

这可能对您有用（GNU sed）：

sed -r 's/(,[^,]*){4}$//' file

Answer 6

这个 awk 解决方案以黑客的方式

awk -F, 'OFS=","{for(i=NF; i>=NF-4; --i) {$i=""}}{gsub(",,,,,","",$0);print $0}' temp.txt

Answer 7

awk 单线：

awk -F, '{for(i=0;++i<=NF-5;)printf $i", ";print $(NF-4)}'  file.csv

使用 awk 而不是 cut 的优点是，您不必计算您有多少列，以及您想要保留多少列。因为你想要的是删除最后 4 列。

看测试：

kent$  seq 40|xargs -n10|sed 's/ /, /g'           
1, 2, 3, 4, 5, 6, 7, 8, 9, 10
11, 12, 13, 14, 15, 16, 17, 18, 19, 20
21, 22, 23, 24, 25, 26, 27, 28, 29, 30
31, 32, 33, 34, 35, 36, 37, 38, 39, 40

kent$  seq 40|xargs -n10|sed 's/ /, /g' |awk -F, '{for(i=0;++i<=NF-5;)printf $i", ";print $(NF-4)}'
1,  2,  3,  4,  5,  6
11,  12,  13,  14,  15,  16
21,  22,  23,  24,  25,  26
31,  32,  33,  34,  35,  36

Answer 8

当 CVS 文件带有带 <comma> 字符的引用字段时，上述方法都不能正常工作。因此，仅使用 <comma> 字符作为字段分隔符有点困难。

以下两个帖子现在非常方便：

• 使用 awk 有效解析 CSV 的最可靠方法是什么？
• [U&L] 如何在 Linux 中删除文件的最后一列（注意：这仅适用于 GNU awk）

由于您使用 GNU awk，因此您可以执行以下两项中的任何一项：

$ awk -v FPAT='[^,]*|"[^"]+"' -v OFS="," 'NF{NF-=4}1'

或者使用任何 awk，您可以执行以下操作：

$ awk 'BEGIN{ere="([^,]*|\042[^\042]+\042)"
             ere=","ere","ere","ere","ere"$"
       }
       {sub(ere,"")}1'