1

我正在尝试使用 flume-ng 将 apache Web 服务器日志聚合到 hdfs 中。但奇怪的是,我只将前几行放入 hdfs 中。更奇怪的是,每次我启动代理时都会创建两个文件,而第二个文件是总是小于第一个。我的代理 conf 文件如下所示:

agent1.sources = tail
agent1.channels = MemoryChannel-2
agent1.sinks = HDFS

agent1.sources.tail.type = exec
agent1.sources.tail.command = tail -f /var/log/apache2/access.log.1
agent1.sources.tail.channels = MemoryChannel-2

agent1.sinks.HDFS.channel = MemoryChannel-2
agent1.sinks.HDFS.type = hdfs
agent1.sinks.HDFS.hdfs.path = hdfs://localhost:9000/flume
agent1.sinks.HDFS.hdfs.file.Type = DataStream

agent1.channels.MemoryChannel-2.type = memory

此外,我在终端上没有收到任何错误消息..这是正常的还是我的一些错误?

4

0 回答 0