mpi - 如何在 HPC 集群上创建分布式后缀树

Question

我想为 4 GB 的输入字符串创建一个后缀树。理想情况下，内存中树的大小约为 100 GB。我无法在普通桌面上执行此操作。有没有办法在 Windows HPC 集群上做到这一点？如何将后缀树分布在 HPC 的不同计算节点上？

Answer 1

是的，可以这样做；Google Scholar 列出了几篇关于该主题的论文。诀窍在于将部分后缀初始分配给初始处理器。必须选择它，以便每个处理器都可以关闭并独立地找到它的树部分。一旦完成，通常的后缀树操作就可以相当有效地完成。我不知道任何公开的实现示例。