0

我正在 opencl 中开发一个应用程序，其基本目标是在 GPU 平台上实现数据挖掘算法。我想使用 Hadoop 分布式文件系统并想在多个节点上执行应用程序。我正在使用 MapReduce 框架，我将基本算法分为两部分，即“Map”和“Reduce”。

我以前从未在 hadoop 中工作过，所以我有一些问题：

  1. 我是否已经在 java 中编写了我的应用程序以使用 Hadoop 和 Mapeduce 框架？
  2. 我在 opencl 中为 map 和 reduce 编写了内核函数。是否可以将 HDFS 文件系统用于非 Java GPU 计算应用程序？（注意：我不想使用 JavaCL 或 Aparapi）
4

2 回答 2

1

HDFS是一个文件系统；您可以使用任何语言的 HDFS 文件系统。

HDFS 数据分布在多台机器上，在 GPU 计算中处理数据具有很高的可用性。

有关更多信息，请参阅Hadoop 流。

于 2013-03-19T21:07:19.740 回答
1

您可以使用 Hadoop Streaming，只要您的代码可以从 stdio 读取并写回它，您就可以使用任何您想要的语言编写映射器和化简器。为了获得灵感，您可以参考R 如何与 Hadoop Streaming 一起使用的示例

于 2013-03-19T20:35:29.653 回答