0

有一个名为“cufflinks”的程序运行如下:

cufflinks -o <output-dir>  <input-file>

该程序将 1 个文件作为输入,并在“输出目录”中生成 4 个文件作为输出。

我正在尝试在映射器类中使用 Runtime.exec() 在 Hadoop 集群上运行相同的程序。我在设置

输出目录=/一些/路径/on/HDFS

我期待这 4 个文件将作为 o/p 在 HDFS 上生成。然而,事实并非如此,HDFS 上的 o/p 目录不包含这 4 个文件中的任何一个。

然后我尝试设置

输出目录=/tmp/输出/

它奏效了。

谁能建议为什么它不能在 HDFS 上运行?我需要做什么才能使其在 HDFS 上运行?

谢谢。

4

1 回答 1

4

问题是袖扣程序应该使用 HDFS API 内部在 HDFS 中创建文件,而不是常规文件操作。

于 2012-11-07T14:59:53.437 回答