awk - 仅保留文件中最新且基于两个字段重复的行

Question

这与问题有关

• awk - 如果字段重复则删除行
• sed/awk + ​​regex 删除第一个字段匹配的重复行（IP 地址）

我有一个这样的文件：

FOO,BAR,100,200,300
BAZ,TAZ,500,600,800
FOO,BAR,900,1000,1000
HERE,THERE,1000,200,100
FOO,BAR,100,10000,200
BAZ,TAZ,100,40,500

重复项由前两个字段确定。此外，更“最近”的记录（文件中较低的/较高的行号）是应该保留的记录。

将输出的 awk 脚本是什么：

BAZ,TAZ,100,40,500
FOO,BAR,100,10000,200
HERE,THERE,1000,200,100

输出顺序不是那么重要。

awk 语法的解释会很棒。

Answer 1

这在awk中很容易：我们只需要输入一个带有键的数组，该键与第一列和第二列相结合，其余的作为值：

$ awk -F, '{a[$1","$2]=$3","$4","$5}END{for(i in a)print i,a[i]}' OFS=, file.txt
BAZ,TAZ,100,40,500
HERE,THERE,1000,200,100
FOO,BAR,100,10000,200

Answer 2

这可能对您有用（tac 和 GNU 排序）：

tac file | sort -sut, -k1,2