java - 在 HDFS 上存储 WEKA jar 文件并从 mapreduce 调用 WEKA 方法

Question

我们可以将 weka.jar 存储在 hdfs 上，然后从 mapper 和 reducer 类调用它的方法吗？

假设我有大量实例存储在一个文件中，我想使用 WEKA 对它们进行集群。我可以读取这些实例，然后从我的 map-reduce 程序中调用 weka 的 SVM 方法吗？

Answer 1

您不必手动将其存储在 HDFS 上。相反，当您运行您的作业时，您可以使用 -libjars jar1,jar2... 选项来自动将所需的 jar 分配给所有映射器，并自动将这些 jar 包含在所有映射器的类路径中。

另一种选择（即使第一个代表标准）是将您的 WEKA jar 包含在您的 hadoop 安装的 lib 目录中。