flume-ng - 在 Apache Flume 中传输文件时如何保留文件名？

Question

我正在使用 Flume 1.3.1 ng，我正在将文件从 spoolDir 传输到 HDFS Sink，并且我需要与输入文件相同的输出文件名。例如，如果输入文件名为 sample.gz，则输出也需要为 sample.gz

您能否提供如何在 Flume 1.3.1 ng 中实现此功能的过程。

score 3 · Accepted Answer

我正在使用以下设置：

a1.sources.r1.basenameHeader = true
a1.sinks.k1.hdfs.filePrefix = %{basename}

这些设置给了我以下转换：

original_file.txt -> original_file.1457085474015.txt

可悲的是，您似乎无法从文件名中删除时间戳：C

score 0 · Accepted Answer

spooldir关于是否添加关于原始文件名的标题有一个参数。它被称为fileHeader，并且默认设置为 false，因此将其设置为 true：

agentname.sources.mysource.type = spooldir
agentname.sources.mysource.spoolDir = /path/to/the/dir
agentname.soruces.mysource.fileHeader = true

2 回答 2