我们有 2 个文本文件（|分隔）和一个公共列来绑定它们。一个文本文件大小接近 45G（约 1.25 亿行），另一个较小，只有 7GB。
我们已经尝试在 Linux 中使用join命令。性能对我来说似乎很棒（大约需要 90 分钟才能完成合并）。我想找出是否有任何其他工具/数据结构可以更快地加速合并。虽然join命令非常快，但我们必须运行这个过程（即合并 2 个文件）70 次。显然，这需要 100 小时的处理时间。
问问题
37 次
我们有 2 个文本文件（|分隔）和一个公共列来绑定它们。一个文本文件大小接近 45G（约 1.25 亿行），另一个较小，只有 7GB。
我们已经尝试在 Linux 中使用join命令。性能对我来说似乎很棒（大约需要 90 分钟才能完成合并）。我想找出是否有任何其他工具/数据结构可以更快地加速合并。虽然join命令非常快，但我们必须运行这个过程（即合并 2 个文件）70 次。显然，这需要 100 小时的处理时间。