1

我有一个简单的 Java 程序，它只是读取一些文本并将其写入 HDFS 上的文件。我使用hadoop HDFSReadWrite text运行它。

我想从 eclipse 或任何其他 java 程序中运行它，并且仍然能够在 Hadoop 环境之外使用 HDFS。有没有办法做到这一点？我需要它真的很糟糕。

4

1 回答 1

0

我能够在 Eclipse 中运行 mapreduce 作业。它与 HDFS 程序应该没有太大区别。

  • 从命令提示符启动 namenode 和 datanode。
  • 在 Eclipse 中创建一个 Java 项目。
  • 包括 common、hdfs 和所需的 jar 文件。
  • 在项目中包含 HDFSReadWrite.java 文件。
  • 将以下参数传递给 java 程序。“--配置配置目录文本”
  • 执行 HDFSReadWrite

除了包含 jar 文件，相应的 Eclipse 项目可以包含在构建路径或附加的 src jar 文件中以用于调试目的。

不要创建 Java 项目，而是复制 eclipse 插件文件夹中的 hadoop-eclipse-plugin-*.jar 文件并创建一个“Map/Reduce 项目”。然后自动包含所需的 jar 文件。

下面的 URL 中提到了不同的命令选项

http://hadoop.apache.org/common/docs/r0.21.0/commands_manual.html

于 2011-07-30T06:19:54.063 回答