apache - Hadoop put 命令什么都不做！

Question

我正在运行 Cloudera 的 Hadoop 发行版，一切正常。hdfs 包含大量 .seq 文件。我需要将所有 .seq 文件的内容合并到一个大 .seq 文件中。但是，getmerge 命令什么也没做对我来说。然后我使用 cat 并将一些 .seq 文件的数据通过管道传输到本地文件中。当我想将此文件“放入”hdfs 时，它什么也不做。没有显示错误消息，也没有创建文件。

我能够在 hdfs 中“touchz”文件，并且用户权限在这里不是问题。put 命令根本不起作用。我做错了什么？

Answer 1

编写一个将所有序列文件合并为一个的作业。它只是标准的 mapper 和 reducer，只有一个 reduce 任务。

Answer 2

如果“hadoop”命令静默失败，你应该看看它。

只需输入：'which hadoop'，这将为您提供“hadoop”可执行文件的位置。它是一个 shell 脚本，只需编辑它并添加日志以查看发生了什么。

如果 hadoop bash 脚本一开始就失败，那么 hadoop dfs -put 命令不起作用也就不足为奇了。