apache - Dir 搬到 Flume

Question

我想将包含子目录和使用flume API或java API的文件列表的DIR加载到/flume/events下的HDFS中。我正在使用 cloudera cdh5.1

请你在这方面帮助我。我想对如何摄取/加载包含子目录和文件的目录进行编码。我对使用flume api/java api将文件加载到hdfs有一个想法

提前致谢

Answer 1

您使用 Flume 或 Java 有什么原因吗？HDFS 包含一个从本地文件系统复制到 HDFS 的实用程序：

$ hdfs dfs -put <localsrc> ... <dst>

开关 -copyFromLocal 做同样的事情；使用 -moveFromLocal 将在复制后删除本地文件。

利用

$ hdfs dfs -help

了解更多信息。