0

我对 hadoop 很陌生，正在尝试创建一个使用 hadoop 的 java 项目。

我有 hadoop 在单节点集群中运行，我有一个 java 项目，我在构建路径中将 hadoop 作为外部 jar 导入。

以下是否有意义：我应该如何将 java 项目连接到 hadoop 的本地实例？

谢谢

4

2 回答 2

1

那应该行得通。您无需做太多事情即可连接到本地 Hadoop 设置。只需创建一个 Configuration 对象并使用Configuration.addResource()告诉您的代码在哪里查找配置文件。一个小例子：

public class CopyToHdfs {

    public static void main(String[] args) throws IOException {

        Configuration conf = new Configuration();
        conf.addResource(new Path("/Users/miqbal1/hadoop-eco/hadoop-1.1.2/conf/core-site.xml"));
        conf.addResource(new Path("/Users/miqbal1/hadoop-eco/hadoop-1.1.2/conf/hdfs-site.xml"));
        FileSystem fs = FileSystem.get(conf);
        fs.copyFromLocalFile(new Path("file:///Users/miqbal1/input.txt"), new Path("/"));

    }
}
于 2013-10-20T23:01:44.480 回答
0

我认为您需要的是 hadoop eclipse 插件。我认为它不适用于所有 hadoop 版本，但我让它在 hadoop 1.2.0 版本上运行。看看这个教程。

于 2013-10-22T12:38:52.803 回答