1

我希望在点的大型数据文件上执行完全自交叉连接。但是，我无法使用编程语言来执行操作，因为我无法将其存储在内存中。我想找到集合中的所有点组合。下面是我的数据集的一个例子。

x y 
1 9 
2 8 
3 7 
4 6 
5 5

我想对这些数据进行交叉连接以生成包含所有点组合的 25 行表。会有低内存解决方案吗？也许与awk？

谢谢，

尼古拉斯·海登

PS我是一个新手程序员。

4

2 回答 2

1

也许分两步，创建一个标题，column1 和 column2 文件，并加入 column1 和 column2 并附加到头文件

awk 'NR==1{print > "cross"} NR>1 {print $1 > "col1"; print $2 > "col2"}' file
join -j9 col1 col2 -o1.1,2.1 >> cross
rm col1, col2

显然要确保临时文件名和最终文件名不会与现有文件名冲突。

注意，joinMacOS 上的命令没有这个-j选项，所以把它改成等效的长格式

join -19 -29 col1 col2 -o1.1,2.1 >> cross

在这两种选择中，我们都要求 join 使用不存在的第 9 个字段作为键，它将第一个文件的每一行与第二个文件的每一行匹配，以生成两个文件的叉积。

于 2017-04-15T04:35:31.943 回答
1

如果内存使用不是问题，我可能会这样做：

$ awk 'NR==1 { print; next }          # print the header
      { x[NR]=$1; y[NR]=$2 }          # read data ro two hashes x and y
      END { for(i=2;i<=NR;i++)
                for(j=2;j<=NR;j++)
                    print x[i],y[j]   # print all combinations of x and y
      }' file

保持低内存使用显然需要将数据保持在内存之外，这意味着大量访问文件。因此，在处理FILENAME时，使用另一个名称（如下）x打开同一个文件并逐条处理该文件：filey

$ awk 'NR==1 { print; next }          # print header
      { file=FILENAME; x=$1; nr=1     # duplicate FILENAME, keep $1, create local nr
        while((getline <file) > 0)    # process file record by record
            if(nr++>1) {print x,$2 }  # print $1 of FILENAME and $2 of file
        close(file) }' file           # close the file
x y 
1 9
1 8
1 7
1 6
1 5
2 9
...

我可能永远不会将该代码用于任何有用的东西，但也许您可以混合这两种解决方案来创建合适的东西。

于 2017-04-15T05:30:13.403 回答