sorting - MPI 排序实现

Question

我需要对一个非常大的文件进行排序，数百 Gb。幸运的是，我可以访问 Linux MPI 集群。有人知道一个好的但最重要的工作排序程序，它可以使用 MPI 在分布式环境中运行。实际上，我想计算该文件中的唯一行，所以如果有人知道一个可以做得更好的程序。否则我以后可以自己弄清楚如何做。

Answer 1

因为没有提供任何答案，但我只想分享我的结果。

我从ordinal.comnsort下载了程序（2004 年sortbenchmark.org年度排序算法竞赛的获胜者）。尽管不是以集群方式排序，但它的排序速度非常快。我不记得它是什么了，但我使用. 我说的是比默认的 linux 排序快几十倍（可能大约 50 倍）。nsort

还有两点需要注意。

• 它仅限于非商业分发中的文本文件排序。
• 它具有与 linux 排序实用程序完全相同的界面。