0

我目前正在开发一个使用 hadoop (2.7.0) 的项目我有一个配置和工作的两个节点集群（大部分）。我可以手动运行映射器/减速器作业，没有任何问题。但是当我尝试使用 hadoopy 开始工作时，我得到了一个错误。调试错误后，我看到它源自 hadoopy 执行的以下命令：

hadoop fs -mkdir _hadoopy_tmp

这会产生错误：

mkdir: '_hadoopy_tmp': No such file or directory

手动执行此操作时，如果我在文件目录名称前以“/”开头，则 mkdir 可以正常工作。如果我不以“/”开头，则会收到与上述相同的错误。ls 命令也是如此（ls / 给我一个结果， ls 给我一个错误，没有这样的文件或目录）。我猜我在某处搞砸了hadoop的配置。我只是想不通在哪里。

编辑：清除：我知道您应该将 mkdir 命令与直接路径一起使用（ea / 在它前面）。通过终端与 hadoop 交互时，我会这样做。然而，hadoopy 框架似乎没有这样做（它会抛出如上所示的错误）。我的问题是：hadoopy 中是否有针对此问题的修复/解决方法，还是我必须重写那里的源代码？

4

1 回答 1

0

我不明白对您来说什么是“手动”，但是在我看来，您看到的错误非常有意义，如果您想在 hadoop FS 中创建目录，您应该给出执行此操作的确切路径。那里没有问题，你也没有搞砸任何事情。我建议你这样做：

$HADOOP_HOME/bin/hdfs dfs -mkdir /name_of_new_folder/

Pd：我对hadoopy一无所知，我只是从我使用hadoop的经验谈起（有些项目应该在两者中同等处理，所以这就是我在这里回答的原因，如果我是，请纠正我错误的）

于 2015-05-18T15:57:52.890 回答