在阅读了这篇文章和这篇论文之后，我决定在 MapReduce 上为大型数据集实现分布式体渲染设置，作为我的本科论文工作。Hadoop是一个合理的选择吗？是不是 Java 会扼杀一些性能提升或使与 CUDA 的集成变得困难？Phoenix++ 会是更好的工作工具吗？
问问题
363 次
1 回答
0
Hadoop 还有一个名为 Hadoop Pipes 的 C++ API。Pipes 允许您使用 C++ 编写 Map 和 Reduce 代码，从而与您可用的任何 C/C++ 库进行交互。有意义的是，这可以让您与 CUDA 进行交互。
据我了解，这只是对 MapReduce 的重写，因此所有的网络通信和分布式文件系统仍将由 Java 处理。Hadoop 旨在使任务的并行化变得简单和通用，因此它无法成为最有效的 MapReduce 实现。您对效率与可用程序员时间的要求可能是使用 Hadoop 或更高效的低级框架的决定因素。
管道示例中的字数统计。不幸的是，确实缺乏文档，但是拥有可用的源代码会使事情变得容易得多。
于 2011-06-15T20:27:31.163 回答