我正在使用标准连接命令来连接两个基于 column1 的排序文件。命令是简单的 join file1 file2 > output_file。
但是如何使用相同的技术加入 3 个或更多文件?join file1 file2 file3 > output_file 上面的命令给了我一个空文件。我认为 sed 可以帮助我,但我不太确定如何?
man join
:
NAME
join - join lines of two files on a common field
SYNOPSIS
join [OPTION]... FILE1 FILE2
它仅适用于两个文件。
如果你需要加入三个,也许你可以先加入前两个,然后加入第三个。
尝试:
join file1 file2 | join - file3 > output
应该加入这三个文件而不创建中间临时文件。-
告诉 join 命令从其中读取第一个输入流stdin
join
可以通过递归构造 s 的管道来连接多个文件(N>=2) :
#!/bin/sh
# multijoin - join multiple files
join_rec() {
if [ $# -eq 1 ]; then
join - "$1"
else
f=$1; shift
join - "$f" | join_rec "$@"
fi
}
if [ $# -le 2 ]; then
join "$@"
else
f1=$1; f2=$2; shift 2
join "$f1" "$f2" | join_rec "$@"
fi
我知道这是一个老问题,但供将来参考。如果您知道要加入的文件具有此处问题中的模式,例如,file1 file2 file3 ... fileN
那么您可以使用此命令简单地加入它们
cat file* > output
其中输出将是按字母顺序连接的一系列连接文件。
我为此创建了一个函数。第一个参数是输出文件,其余参数是要连接的文件。
function multijoin() {
out=$1
shift 1
cat $1 | awk '{print $1}' > $out
for f in $*; do join $out $f > tmp; mv tmp $out; done
}
用法:
multijoin output_file file*
虽然有点老问题,但这就是你如何用一个来做到这一点awk
:
awk -v j=<field_number> '{key=$j; $j=""} # get key and delete field j
(NR==FNR){order[FNR]=key;} # store the key-order
{entry[key]=entry[key] OFS $0 } # update key-entry
END { for(i=1;i<=FNR;++i) {
key=order[i]; print key entry[key] # print
}
}' file1 ... filen
该脚本假定:
<field_number>
<field_number>
是一个有效的整数。该man
页面join
声明它仅适用于两个文件。因此,您需要创建中间文件,然后将其删除,即:
> join file1 file2 > temp
> join temp file3 > output
> rm temp
Join在一个公共字段上连接两个文件的行。如果你想加入更多 - 成对做。首先加入前两个文件,然后将结果与第三个文件等加入。
假设您有四个文件 A.txt、B.txt、C.txt 和 D.txt:
~$ cat A.txt
x1 2
x2 3
x4 5
x5 8
~$ cat B.txt
x1 5
x2 7
x3 4
x4 6
~$ cat C.txt
x2 1
x3 1
x4 1
x5 1
~$ cat D.txt
x1 1
加入文件:
firstOutput='0,1.2'; secondOutput='2.2'; myoutput="$firstOutput,$secondOutput"; outputCount=3; join -a 1 -a 2 -e 0 -o "$myoutput" A.txt B.txt > tmp.tmp; for f in C.txt D.txt; do firstOutput="$firstOutput,1.$outputCount"; myoutput="$firstOutput,$secondOutput"; join -a 1 -a 2 -e 0 -o "$myoutput" tmp.tmp $f > tempf; mv tempf tmp.tmp; outputCount=$(($outputCount+1)); done; mv tmp.tmp files_join.txt
结果:
~$ cat files_join.txt
x1 2 5 0 1
x2 3 7 1 0
x3 0 4 1 0
x4 5 6 1 0
x5 8 0 1 0