我正在尝试了解如何使用 flume-ng 跟踪文件,以便可以将数据推送到 HDFS。在第一个实例中,我设置了一个简单的 conf 文件:
tail1.sources = source1
tail1.sinks = sink1
tail1.channels = channel1
tail1.sources.source1.type = exec
tail1.sources.source1.command = tail -F /var/log/apache2/access.log
tail1.sources.source1.channels = channel1
tail1.sinks.sink1.type = logger
tail1.channels.channel1.type = memory
tail1.channels.channel1.capacity = 1000
tail1.channels.channel1.transactionCapacity = 100
tail1.sources.source1.channels = channel1
tail1.sinks.sink1.channel = channel1
这是一个测试,我的期望是我会在控制台上看到输出。我使用以下命令运行它:
flume-ng agent --conf-file tail1.conf -n tail1 -Dflume.root.logger=DEBUG,INFO,console
我得到以下输出:
验证后水槽配置包含代理配置:[tail1] 12/12/05 11:01:07 INFO properties.PropertiesFileConfigurationProvider:创建通道 12/12/05 11:01:08 INFO instrumentation.MonitoredCounterGroup:监控类型的计数器组:CHANNEL,名称:channel1,注册成功。12/12/05 11:01:08 INFO properties.PropertiesFileConfigurationProvider:创建通道 channel1 12/12/05 11:01:08 INFO sink.DefaultSinkFactory:创建接收器实例:sink1,类型:记录器 12/12/05 11: 01:08 INFO nodemanager.DefaultLogicalNodeManager:开始新配置:{ sourceRunners:{source1=EventDrivenSourceRunner: { source:org.apache.flume.source.ExecSource@1839aa9 }} sinkRunners:{sink1=SinkRunner: { policy:org.apache. flume.sink.DefaultSinkProcessor@11f0c98 counterGroup:{ name:null 计数器:
然而,没有进一步的事情发生。
我有另一个会话,其中有以下命令:
tail -F /var/log/apache2/access.log
我可以在哪里看到正在写入的文件:
192.168.1.81 - - [05/Dec/2012:10:58:07 +0000] "GET / HTTP/1.1" 200 483 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.95 Safari/537.11"
192.168.1.81 - - [05/Dec/2012:10:58:07 +0000] "GET /favicon.ico HTTP/1.1" 404 502 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.95 Safari/537.11"
192.168.1.81 - - [05/Dec/2012:10:58:21 +0000] "GET / HTTP/1.1" 304 209 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.95 Safari/537.11"
192.168.1.81 - - [05/Dec/2012:10:58:22 +0000] "GET /favicon.ico HTTP/1.1" 404 502 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.95 Safari/537.11"
你能帮我吗?我彻底糊涂了。