有谁知道从 MPI 中读取/写入文件到我的 hdfs 的好方法？我已经做了大量的挖掘工作试图弄清楚这一点，只需要一个大致的方向来追求。
问问题
272 次
2 回答
1
MPI 标准有一整章是关于 MPI I/O 的。我会从那里开始阅读。
MPI 实现已经实现了这个，通常使用 ROMIO。你也可以看看那个。
于 2014-05-30T22:06:00.510 回答
1
HDFS 有一些奇怪之处，使其成为 MPI-IO 的有趣目标。首先，限制来自多个进程的修改（写入）。
看起来 PLFS 项目（它采用 MPI-IO 风格的“全部写入一个文件”工作负载并将其更改为“每个进程一个文件”工作负载）已将 HDFS 设为其目标之一。这篇论文（有高达两次引用）似乎是参考？http://www.pdl.cmu.edu/PDL-FTP/HECStorage/CMU-PDL-12-115.pdf
因此，您将拥有由 ROMIO 实现的 MPI-IO 接口。ROMIO 有一个称为 ADIO 的设备抽象层，PLFS 可以是那些底层设备之一（如果你打补丁的话）。然后 PLFS 说 HDFS，你最终执行 I/O。
我不知道这个堆栈的性能如何！
于 2015-03-19T13:43:19.150 回答