2

我正在使用 Apache Flume 进行日志收集。这是我的配置文件

httpagent.sources = http-source
httpagent.sinks = local-file-sink
httpagent.channels = ch3

#Define source properties 

httpagent.sources.http-source.type = org.apache.flume.source.http.HTTPSource
httpagent.sources.http-source.channels = ch3
httpagent.sources.http-source.port = 8082


# Local File Sink

httpagent.sinks.local-file-sink.type = file_roll
httpagent.sinks.local-file-sink.channel = ch3
httpagent.sinks.local-file-sink.sink.directory = /home/avinash/log_dir
httpagent.sinks.local-file-sink.sink.rollInterval = 21600

# Channels

httpagent.channels.ch3.type = memory
httpagent.channels.ch3.capacity = 1000

我的应用程序运行良好。我的问题是，在 log_dir 中，文件默认使用一些随机数（我猜它的时间戳）时间戳。

如何为日志文件提供正确的文件名后缀？

4

2 回答 2

3

查看文档似乎没有用于配置将要创建的文件的名称的参数。我已经去寻找一些隐藏参数的来源，但没有一个:)

进入实现的细节，文件名似乎由PathManager类管理：

private PathManager pathController;
...
@Override
public Status process() throws EventDeliveryException {
    ...
    if (outputStream == null) {
        File currentFile = pathController.getCurrentFile();
        logger.debug("Opening output stream for file {}", currentFile);
        try {
            outputStream = new BufferedOutputStream(new FileOutputStream(currentFile));
    ...
}

正如您已经注意到的，它基于当前时间戳（显示构造函数和下一个文件获取器）：

public PathManager() {
    seriesTimestamp = System.currentTimeMillis();
    fileIndex = new AtomicInteger();
}

public File nextFile() {
    currentFile = new File(baseDirectory, seriesTimestamp + "-" + fileIndex.incrementAndGet());
    return currentFile;
}

因此，我认为您唯一的可能性是扩展 File Roll 接收器并覆盖该process()方法以使用自定义路径控制器。

于 2015-07-01T05:51:35.397 回答
-1

对于源代码，您可以根据 shell 脚本执行命令来尾随和预先挂起或附加详细信息。下面是一个示例：

# Describe/configure the source for tailing file
 httpagent.sources.source.type = exec
 httpagent.sources.source.shell = /bin/bash -c
 httpagent.sources.source.command = tail -F /path/logs/*_details.log
 httpagent.sources.source.restart = true
 httpagent.sources.source.restartThrottle = 1000
 httpagent.sources.source.logStdErr = true
于 2015-07-14T19:53:33.380 回答