1

关于使用命令的两个问题uniq，请帮忙。

第一个问题

假设我有两个文件；

$ cat 1.dat
0.1 1.23
0.2 1.45
0.3 1.67

$ cat 2.dat
0.3 1.67
0.4 1.78
0.5 1.89

使用cat 1.dat 2.dat | sort -n | uniq > 3.dat，我可以将两个文件合并为一个。结果是：

0.1 1.23
0.2 1.45
0.3 1.67
0.4 1.78
0.5 1.89

但如果我有一个科学记数法1.dat，

$ cat 1.dat
1e-1 1.23
0.2 1.45
0.3 1.67

结果将是：

0.2 1.45
0.3 1.67
0.4 1.78
0.5 1.89
1e-1 1.23

这不是我想要的，我怎么能让uniq理解1e-1是一个数字，而不是一个字符串。

第二个问题

同上，但这次，让第二个文件2.dat的第一行稍有不同（从0.3 1.67到0.3 1.57）

$ cat 2.dat
0.3 1.57
0.4 1.78
0.5 1.89

那么结果将是：

0.1 1.23
0.2 1.45
0.3 1.67
0.3 1.57
0.4 1.78
0.5 1.89

我的问题是，我如何uniq仅根据第一个文件中的值使用并仅从第一列中找到重复项，以便结果仍然是：

0.1 1.23
0.2 1.45
0.3 1.67
0.4 1.78
0.5 1.89

谢谢

更复杂的测试用例

$ cat 1.dat
1e-6 -1.23
0.2 -1.45
110.7 1.55
0.3 1.67e-3
4

3 回答 3

2

仅第一部分：

cat 1.dat 2.dat | sort -g -u

1e-1 1.23
0.2 1.45
0.3 1.67
0.4 1.78
0.5 1.89

man sort 

  -g, --general-numeric-sort
          compare according to general numerical value

 -u, --unique
          with -c, check for strict ordering; without -c, output only the first of an equal run
于 2013-02-14T22:01:28.527 回答
2

one awk (gnu awk) one-liner 解决你的两个问题

  awk '{a[$1*1];b[$1*1]=$0}END{asorti(a);for(i=1;i<=length(a);i++)print b[a[i]];}' file2 file1

使用数据进行测试：注意，我将 file1设为unsorted并1.57在 file2 中，如您所愿：

kent$  head *
==> file1 <==
0.3 1.67
0.2 1.45
1e-1 1.23

==> file2 <==
0.3 1.57
0.4 1.78
0.5 1.89

kent$  awk '{a[$1*1];b[$1*1]=$0}END{asorti(a);for(i=1;i<=length(a);i++)print b[a[i]];}' file2 file1
1e-1 1.23
0.2 1.45
0.3 1.67
0.4 1.78
0.5 1.89

编辑

显示0.1而不是1e-1：

kent$  awk '{a[$1*1];b[$1*1]=$2}END{asorti(a);for(i=1;i<=length(a);i++)print a[i],b[a[i]];}' file2 file1
0.1 1.23
0.2 1.45
0.3 1.67
0.4 1.78
0.5 1.89

编辑 2

对于精度，awk 默认 (OFMT) 是%.6g您可以更改的。但是如果你想按行显示不同的精度，我们需要一点技巧：

（我在file1中添加了1e-9）

kent$  awk '{id=sprintf("%.9f",$1*1);sub(/0*$/,"",id);a[id];b[id]=$2}END{asorti(a);for(i=1;i<=length(a);i++)print a[i],b[a[i]];}'  file2 file1 
0.000000001 1.23
0.2 1.45
0.3 1.67
0.4 1.78
0.5 1.89

如果要为所有行显示相同的数字精度：

kent$  awk '{id=sprintf("%.9f",$1*1);a[id];b[id]=$2}END{asorti(a);for(i=1;i<=length(a);i++)print a[i],b[a[i]];}'  file2 file1 
0.000000001 1.23
0.200000000 1.45
0.300000000 1.67
0.400000000 1.78
0.500000000 1.89
于 2013-02-14T22:07:50.953 回答
1

为了将科学记数法更改为十进制，我使用了 python

#!/usr/bin/env python

import sys
import glob

infiles = []

for a in sys.argv:
    infiles.extend(glob.glob(a))

for f in infiles[1:]:
    with open(f) as fd:
        for line in fd:
            data = map(float, line.strip().split())
            print data[0], data[1]

输出：

$ ./sn.py 1.dat 2.dat
0.1 1.23
0.2 1.45
0.3 1.67
0.3 1.67
0.4 1.78
0.5 1.89
于 2013-02-14T22:15:40.247 回答