问题标签 [flume]

我是 Apache Flume 的新手，只是我想知道，Apacheflume 在哪里记录其错误消息和元数据信息。我在 apche flume 目录中搜索了捕获的错误日志，但我没有看到任何名称为 log 的 floder。

谁能帮我解决这个问题，如何在 apache flume 中配置日志。

我试图捕获 Apache Flume 元数据信息，但我没有看到它记录这些信息的位置。

如果我需要做任何预配置来捕获 Flume 元数据信息，请告诉我。

提前致谢。

我正在查看 Java 程序中的选项，这些选项可以将文件写入 HDFS 并满足以下要求。

1）事务支持：每个文件在写入时，要么完全写入成功，要么完全失败，没有写入任何部分文件块。

2) Compression Support/File Formats：可在写入内容时指定压缩类型或文件格式。

我知道如何通过打开此处FSDataOutputStream显示的文件将数据写入 HDFS 上的文件。只是想知道是否有一些开箱即用的解决方案库可以提供我上面提到的支持。

我偶然发现了 Flume，它提供了可以支持事务、压缩、文件旋转等的 HDFS 接收器。但它似乎没有提供用作库的 API。Flume 提供的功能与 Flume 架构组件（如源、通道和接收器）高度耦合，似乎不能独立使用。我只需要在 HDFS 加载部分。

有没有人有一些好的建议？

我将 Log4j2 与 Flume appender 一起使用，配置如下：

这在几个节点上按预期工作，但其余节点会产生以下错误：

ERROR Recursive call to appender eventLogger

以下是 Log4j 引导程序的完整输出：

所以两个问题：

1. 为什么这适用于某些节点而不适用于其他节点？
2. 我查看了生成此错误的代码，并且每当多次调用附加程序代码时，它似乎都会被调用。我看不出为什么会发生这种情况。谁可以给我解释一下这个？

我已经设置了一个文件到文件 source/sink ，就像对基本水槽功能的测试一样。

我目前使用“exec”源，命令是“tail -F mytmpfile”。

在我的脚本中，我不断地回显 "....." >> mytmpfile ，这样尾部命令就构成了一个流。

但是，我开始在水槽日志中看到以下异常：

java.lang. IllegalStateException：通道关闭 [channel=c1]。由于 java.lang.NullPointerException: null at org.apache.flume.channel.file.FileChannel.createTransaction(FileChannel.java:353) at org.apache.flume.channel.BasicChannelSemantics.getTransaction(BasicChannelSemantics.java:122) at org.apache.flume.sink.RollingFileSink.process(RollingFileSink.java:183) at org.apache.flume.sink.DefaultSinkProcessor.process(DefaultSinkProcessor.java:68) at org.apache.flume.SinkRunner$PollingRunner.run( SinkRunner.java:147) 在 java.lang.Thread.run(Thread.java:662) 引起：在 org.apache.flume.channel.file.Log.writeCheckpoint(Log.java:895) 的 java.lang.NullPointerException在 org.apache.flume.channel.file.Log.replay(Log.java:406) 在 org.apache.flume.channel.file.FileChannel.start(FileChannel.java:

关于这个 NullPointerException 来自哪里的任何想法？从扫描代码中可以看出，它可能与丢失的文件夹或目录有关。但我在 git hub 分支上找不到确切的行。

这是使用 apache-flume-1.3.1.23-...

我正在尝试配置 Flume，以便日志每小时滚动一次或当它们达到 HDFS 的默认块大小（64 MB）时。以下是我目前的配置：

我对上述配置的意图是分批写入 HDFS 10，然后滚动写入每小时的文件。我所看到的是所有数据似乎都保存在内存中，直到我低于 64MB，直到文件在 1 小时后滚动。是否有任何设置我应该调整以获得我想要的行为？

我是flume的新手，所以请告诉我......如何使用flume将日志文件从我的本地机器存储到本地我的HDFS我在设置类路径和flume.conf文件时遇到问题

谢谢你，阿杰

我一直在试验flume ng（flume-ng-1.2.0+24.81-1~lucid），一直在比较内存通道和文件通道的性能。

我的测试系统中的每个事件的大小为 1KB，在我当前的配置下，我能够使用内存通道处理大约 30,000 EPS。但是，当使用文件通道时，我只能处理大约 1600 EPS。

平均而言，我希望在我的生产系统上平均接收 2500 EPS，并且我想使用文件通道在接收器故障的情况下提供大约 1 小时的事件缓冲（我正在使用具有 1Gbps 连接的 HDFS 接收器到hadoop集群）。

这是我的文件通道配置：

我的 HDFS 接收器的批量大小已设置为 5000。

任何人都可以就如何提高文件通道的性能提出任何建议吗？

谢谢

我正在尝试使用 hdfs 接收器运行水槽。hdfs 在另一台机器上正常运行，我什至可以与水槽机器上的 hdfs 交互，但是当我运行水槽并向它发送事件时，我收到以下错误：

同样，连接性不是问题，因为我可以使用 hadoop 命令行与 hdfs 交互（水槽机器不是数据节点）。最奇怪的是，杀死水槽后，我可以看到 tmp 文件是在 hdfs 中创建的，但它是空的（并且 .tmp 扩展名仍然存在）。

关于为什么会发生这种情况的任何想法？非常感谢！

当我尝试运行水槽代理时，我反复收到以下语句。除非我强制停止任务，否则它会连续显示，可能是什么问题

请帮帮我

2013-05-27 03:47:12,517 (conf-file-poller-0) [DEBUG - org.apache.flume.conf.file.AbstractFileConfigurationProvider$FileWatcherRunnable.run(AbstractFileConfigurationProvider.java:188)] 检查文件：/etc /flume-ng/conf![在此处输入图像描述][1]/loclog.conf 进行更改

2013-05-27 03:47:12,517 (conf-file-poller-0) [DEBUG - org.apache.flume.conf.file.AbstractFileConfigurationProvider$FileWatcherRunnable.run(AbstractFileConfigurationProvider.java:188)] 检查文件：/etc /flume-ng/conf![在此处输入图像描述][1]/loclog.conf 进行更改

2013-05-27 03:47:12,517 (conf-file-poller-0) [DEBUG - org.apache.flume.conf.file.AbstractFileConfigurationProvider$FileWatcherRunnable.run(AbstractFileConfigurationProvider.java:188)] 检查文件：/etc /flume-ng/conf![在此处输入图像描述][1]/loclog.conf 进行更改