flume-ng - 以下水槽水槽配置之间的区别

Question

我对 flume 中的以下三个水槽配置非常困惑。请澄清我

会议1

a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = /flume/events/

会议2

a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://localhost:9000/flume/events/

会议3

a1.sinks.k1.type = file_roll
a1.sinks.k1.sink.directory = /var/log/flume

每个接收器的具体用例是什么？

Answer 1

Conf1和Conf2基本相同。它们都有 hdfs sink，数据正在写入 HDFS。唯一的区别是，在一种情况下，您提供的是绝对路径。

Conf3是一个本地文件滚动接收器，其中数据存储到本地磁盘并与 HDFS 进行比较。