我正在使用 flume-ng 及其 HDFS 接收器。现在，如果我将一些文件添加到给定文件夹中，它也会自动存储在 HDFS 中。它工作正常；但是我注意到 HDFS 中文件的大小非常小。因此，如果我将一个 1GB 的文件放入给定的文件夹中，它会由数百个文件存储在 HDFS 中。我可以让 HDFS 中的文件更大吗？如何在 flume-conf.properties 中配置它？
问问题
659 次
1 回答
0
你有没有尝试增加hdfs.rollSize.
有一个开放的 jira 将有助于增加 hdfs 块的大小https://issues.apache.org/jira/browse/FLUME-2003
于 2013-09-24T17:05:36.157 回答