1

我有一个 pattern.txt 文件，如下所示：

2gqt+FAD+A+601   2i0z+FAD+A+501
1n1e+NDE+A+400   2qzl+IXS+A+449
1llf+F23+A+800   1y0g+8PP+A+320
1ewf+PC1+A+577   2a94+AP0+A+336
2ydx+TXP+E+1339   3g8i+RO7+A+1
1gvh+HEM+A+1398   1v9y+HEM+A+1140
2i0z+FAD+A+501   3m2r+F43+A+1
1h6d+NDP+A+500   3rt4+LP5+C+501
1w07+FAD+A+1660   2pgn+FAD+A+612
2qd1+PP9+A+701   3gsi+FAD+A+902

还有一个名为 data 的文件（大小约为 8gb），其中包含这样的行。

2gqt+FAD+A+601   2i0z+FAD+A+501    0.874585  0.785412
1n1e+NDE+A+400   2qzl+IXS+A+449    0.145278  0.589452
1llf+F23+A+800   1y0g+8PP+A+320    0.784512  0.341786
1ewf+PC1+A+577   2a94+AP0+A+336    0.362542  0.784785
2ydx+TXP+E+1339   3g8i+RO7+A+1     0.251452  0.365298
1gvh+HEM+A+1398   1v9y+HEM+A+1140  0.784521  0.625893
2i0z+FAD+A+501   3m2r+F43+A+1      0.369856  0.354842
1h6d+NDP+A+500   3rt4+LP5+C+501    0.925478  0.365895
1w07+FAD+A+1660   2pgn+FAD+A+612   0.584785  0.325863
2qd1+PP9+A+701   3gsi+FAD+A+902    0.874526  0.125453

然而，数据文件并不像上面给出的那么简单。该文件的大尺寸是由于其中大约有 18000 行，它们从每行的第一列中的字符串开始。即以2gqt+FAD+A+601开头的18000行，后跟以1n1e+NDE+A+400开头的18000行。但是只有一个这样的行与给定的模式匹配，如 pattern.txt

我正在尝试将 pattern.txt 中的行与数据匹配并希望打印出来：

2gqt+FAD+A+601   2i0z+FAD+A+501 0.785412
1n1e+NDE+A+400   2qzl+IXS+A+449 0.589452
1llf+F23+A+800   1y0g+8PP+A+320 0.341786
1ewf+PC1+A+577   2a94+AP0+A+336 0.784785  
2ydx+TXP+E+1339   3g8i+RO7+A+1  0.365298
1gvh+HEM+A+1398   1v9y+HEM+A+114 0 0.625893
2i0z+FAD+A+501   3m2r+F43+A+1 0.354842
1h6d+NDP+A+500   3rt4+LP5+C+501 0.365895
1w07+FAD+A+1660   2pgn+FAD+A+612 0.325863
2qd1+PP9+A+701   3gsi+FAD+A+902 0.125453

截至目前，我在 perl 中使用了一些东西，如下所示：

use warnings;
open AS, "combi_output_2_fixed.txt";
open AQ, "NAMES.txt";
@arr=<AS>;
@arr1=<AQ>;
foreach $line(@arr)
{
    @split=split(' ',$line);
    foreach $line1(@arr1)
    {
     @split1=split(' ',$line1);
     if($split[0] eq $split1[0] && $split[1] eq $split1[1])
     { print $split1[0],"\t",$split1[1],"\t",$split1[3],"\n";}
   }

}
close AQ;
close AS;

这样做会耗尽整个内存：并显示内存不足错误消息。我知道这可以使用 grep 完成。但不知道怎么做。谁能告诉我如何使用 grep -F 并且不使用整个内存来做到这一点？

谢谢。

4

2 回答 2

2

pattern.txt适合记忆吗？

如果是这样，您可以使用类似于grep -F -f pattern.txt data.txt将 data.txt 中的行与模式匹配的命令。但是，您将获得完整的行，并且需要额外的处理才能仅获得第二列数字。

或者您可以修复 Perl 脚本。内存不足的原因是因为您将 8gb 文件完全读取到内存中，而您可以像 grep 一样逐行处理它。对于 8GB 文件，您应该使用如下代码：

open FH, "<", "data.txt";
while ($line = <FH>) { 
    # check $line against list of patterns ...
}
于 2012-04-10T07:50:31.300 回答
0

尝试这个

grep "`more pattern.txt`" data.txt | awk -F' ' '{ print $1 " "  $2 " " $4}'
于 2012-04-10T07:50:58.430 回答