0

从过去的 2-3 周开始，我一直在研究水槽。我面临一个新情况，我不知道如何解决。

流程：使用基本流程，spoolDir -> fileChannel -> HDFS

.conf 文件中没有设置额外的参数

我尝试传输的文件大小：1.4GB

情况：代理启动正常，文件传输启动正常，源文件重命名为 .COMPLETED，完整文件未传输到 HDFS，没有抛出错误/异常。我多次运行相同的 adhoc，我发现在 1.4 gigs 中只有 ~169Mb 被转移。看起来很奇怪！

有什么建议么？有什么解决办法吗？任何假设？

4

2 回答 2

0

尝试向文件中添加更多数据并等待一段时间。日志中有什么有趣的东西吗？

还要确保您的 HDFS 上有足够的空间。

于 2013-06-26T19:01:01.507 回答
0

你等了多久？给它一个小时，你可能会看到一些东西。

您可能有一个损坏的 fileChannel，需要一些时间来清理它。

什么版本的 Flume，顺便说一句？

于 2013-06-26T18:43:36.907 回答