json - 如何让 Flume-ng 以 JSON 格式存储日志

Question

我有一个 Flume 整合器，它将自定义日志中的条目写入 AWS 中的 s3 存储桶

我遇到的问题是，它没有以 JSON 格式存储它。我正在使用flume-ng（flume 1.2.0），因为我已经从flume-og（实际上只是flume 0.9.4-cdh3u3）升级。当我使用flume（og one）时，我默认以JSON格式移动日志而没有设置任何参数。flume-ng 是否可以解析日志并将其设置为 JSON 格式？

任何帮助深表感谢。谢谢

我的设置配置如下

agent.sources = source1
agent.sinks = sink1
agent.channels = channel1

agent.sources.source1.type = netcat
agent.sources.source1.bind = localhost
agent.sources.source1.port = 4555

agent.sinks.sink1.type=hdfs
agent.sinks.sink1.hdfs.path = s3://KEY:SECRET@BUCKET/flume/apache/incoming
agent.sinks.sink1.hdfs.filePrefix = log-file-

agent.channels.channel1.type = memory
agent.channels.channel1.capacity = 1000
agent.channels.channel1.transactionCapactiy = 100

agent.sources.source1.channels = channel1
agent.sinks.sink1.channel = channel1