hadoop - 从 Flume 流式传输数据以从不同目录收集数据

Question

来自不同网络设备的日志被上传到不同的目录结构/appdat/logs/device//devicename.gzip。所以所有设备都会将它们的日志存储在各自的邮政编码目录中。可以使用任何现有的水槽源将任何子目录上的新上传文件发送到 HDFS，还是我需要编写一个新的自定义源。cloudera 版本正在使用的是 cdh4

Answer 1

Phil Scala 提出了一项更改，它将进行递归检查。据我所知，它还没有被接受。

当前积极开发的版本是 Apache Flume，而不是 Cloudera 版本。