hadoop - Flume：无法修复接收器输出文件大小

Question

我正在尝试修复接收器输出文件的大小。即我试图获得每个输出文件 128 MB。我尝试了几种机制（rollInterval、rollCount、rollSize），但没有得到想要的输出。我没有得到始终如一的 128 MB 文件。我最初只收到几个 128 MB 的文件，但后来生成了一些不同大小的文件，如 30,40 45 MB 等。还有许多新创建的文件打开并保持在 .tmp 状态。任何想法？

Answer 1

我认为不可能总是创建 128MB 大小的文件。如果 Flume 聚合随机大小的数据（我的意思不是恒定大小）或恒定大小但不是您请求大小的倍数的数据，它将始终创建文件尺寸小于 128。

我猜你需要有一个非常小的数据流，然后你总是有一个 tmp 文件，除非这个文件被填满（128MB 大）。但是，如果您正在监视目录，则文件必须是 128 的倍数，而不是您将拥有较小大小的部分文件。

希望我正确理解了您的问题。