hadoop - 如何捕获正在传输的数据的 Apache Flume 元数据信息

Question

我试图捕获 Apache Flume 元数据信息，但我没有看到它记录这些信息的位置。

如果我需要做任何预配置来捕获 Flume 元数据信息，请告诉我。

提前致谢。

Answer 1

Flume 组件在标准 Flume 日志 (/var/log/flume-ng) 中记录一些此类元信息。

例如，HDFS sink在文件滚动时记录文件的路径：

19 апр 2013 13:00:07,063 INFO  [hdfs-hdfs_sink-roll-timer-0] (org.apache.flume.sink.hdfs.BucketWriter.renameBucket:379)  - Renaming hdfs://localhost/path/to/data/2013/04/19/12/data.1366358400751.tmp to hdfs://localhost/path/to/data/2013/04/19/12/data.1366358400751

Avro 源记录每个接收到的事件批次：

19 апр 2013 13:00:07,175 DEBUG [New I/O server worker #1-31] (org.apache.flume.source.AvroSource.appendBatch:222)  - Avro source avro_source: Received avro event batch of 100 events.

此外，Flume 中还有监控功能，允许向外部系统（例如 Ganglia）报告一些指标，例如已处理消息的总数、通道大小等。看看http://flume.apache.org/ FlumeUserGuide.html#monitoring。