2

我有一个 Flume 整合器，它将每个条目写入 AWS 上的 S3 存储桶。

问题出在目录路径上。

事件应该写在 /flume/events/%y-%m-%d/%H%M，但它们在 //flume/events/%y-%m-%d/%H% M。

似乎 Flume 在开头附加了一个“/”。

对这个问题有什么想法吗？我的路径配置有问题吗？

master.sources = source1
master.sinks = sink1
master.channels = channel1

master.sources.source1.type = netcat
# master.sources.source1.type = avro
master.sources.source1.bind = 0.0.0.0
master.sources.source1.port = 4555

master.sources.source1.interceptors = inter1
master.sources.source1.interceptors.inter1.type = timestamp

master.sinks.sink1.type = hdfs
master.sinks.sink1.hdfs.path = s3://KEY:SECRET@BUCKET/flume/events/%y-%m-%d/%H%M
master.sinks.sink1.hdfs.filePrefix = event
master.sinks.sink1.hdfs.round = true
master.sinks.sink1.hdfs.roundValue = 5
master.sinks.sink1.hdfs.roundUnit = minute

master.channels.channel1.type = memory
master.channels.channel1.capacity = 1000
master.channels.channel1.transactionCapactiy = 100

master.sources.source1.channels = channel1
master.sinks.sink1.channel = channel1
4

1 回答 1

0

Flume NG HDFS 接收器没有为 S3 支持实现任何特殊功能。Hadoop 有一些对 S3 的内置支持，但我不知道有谁在积极致力于它。据我所知，它有些过时，并且在失败时可能会出现一些耐用性问题。

也就是说，我知道有人使用它，因为它“足够好”。

您是说“//xyz”（带有多个相邻斜杠）是 S3 上的有效路径名吗？您可能知道，大多数 Unix 会折叠相邻的斜线。

于 2012-09-25T20:35:32.993 回答