hdfs - 是否可以将 Flume 标头写入 HDFS 接收器并丢弃主体？

Question

text_with_headers 序列化器（HDFS sink 序列化器）允许保存 Flume 事件标头而不是丢弃它们。输出格式由标头、空格和正文负载组成。我们想删除正文并仅保留标题。对于 HBase 接收器，“RegexHbaseEventSerializer”允许我们转换事件。但我无法为 HDFS 接收器找到这样的规定。

Answer 1

您可以将序列化程序属性设置为header_and_text，它同时输出标题和正文。

例如：

agent.sinks.my-hdfs-sink.type = hdfs
agent.sinks.my-hdfs-sink.hdfs.fileType = DataStream
... 
# very important
agent.sinks.my-hdfs-sink.serializer = header_and_text