0

我在多个本地文件夹中有数据，即 /usr/bigboss/data1、/usr/bigboss/data2 和更多文件夹。我想使用所有这些文件夹作为我的 MapReduce 命令的输入源并将结果存储在 HDFS 中。我找不到使用 Hadoop Grep 示例执行此操作的有效命令。

4

1 回答 1

1

数据需要驻留在 HDFS 中，以便您使用 grep 示例对其进行处理。您可以使用 -put FsShell 命令将文件夹上传到 HDFS：

hadoop fs -mkdir bigboss
hadoop fs -put /usr/bigboss/data* bigboss

它将在当前用户 HDFS 目录中创建一个文件夹，并将每个数据目录上传到它

现在您应该能够在数据上运行 grep 示例

于 2012-05-16T10:25:56.630 回答