c++ - OpenMP C++ 程序可以用作 Hadoop 中的映射器/归约器功能吗？

Question

我们可以像这样结合 OpenMP 和 MapReduce：

Map/Reduce 可用于在不同的计算机之间分配数据集。
然后每台计算机运行映射器/缩减器功能，利用 OpenMP 进行多处理。

这可能吗？（我在谷歌搜索中找不到任何实质性内容）。
如果可能的话，这样做会有什么好处吗？

PS我正在使用Hadoop Streaming Utility。

Answer 1

Hadoop 的重点是让处理节点自动、透明地为您处理数据局部性。

如果我理解正确，您只想将 Hadoop 用于存储，然后在 OpenMP 中进行 Map/Reduce 工作。虽然这应该是可能的，但您最终会失去 Hadoop 的主要设计优势之一。

这种方法没有多大意义。我建议要么坚持使用 Hadoop 框架，要么如果您不喜欢它，请查看其中一种替代方案。