问题标签 [flume-ng]

我们计划使用 kafka flume-ng 集成（Flafka），其中 flume 是 kafka 队列的消费者。Flume 代理将接收列出命令及其输出的文件，如下所示：

该文件可能包含多个命令，并且命令的输出可能很大。我们需要拦截事件（也就是文件数据），并根据命令将事件拆分成多个事件。然后源将流扇出到多个通道，将每个子事件发送到一个通道（使用多路复用），每个接收器将命令信息存储到相应的 Hive 表中。是否可以使用扇出流将事件拆分为多个事件？或者如果我以其他方式问，我们可以在拦截器中将一个事件拆分为多个事件吗？

我已阅读有关正则表达式提取器拦截器和序列化程序的信息，但不确定它是否对这种情况有任何帮助。

我正在使用 Apache Flume 1.4.0 收集日志文件 (auth.log) 并存储在 HDFS (Hadoop 2.6.0) 中。使用的命令是：

flume.conf文件包含以下内容：

运行命令后，以下消息在循环中不断重复：

可能是什么原因 ？

我是新来的水槽。但我想将天气数据从任何网站流式传输到我的 hdfs 位置。所以我创建了接收器、源和通道...如下

所以我在这里使用 API 来处理这个问题。我还能用什么来输入天气数据，我可以使用什么在线网站，或者我应该使用哪个 API 来配置源？在执行 flume-ng 命令启动代理时，我正在关注

我正在学习水槽。当我试图从我的系统中读取日志文件时。我使用了以下代码..从互联网下载。

在上面的代码中，我不明白 tailSrc.commands 是什么意思。我知道源是在代理中配置并从外部源获取事件（数据）。

我正在使用 HTTP-Source 将 JSON 文件放入 HDFS（单节点 SANDBOX）。

该文件是在正确的目录中创建的，但是没有任何内容附加到该文件中。在我开始调试 HTTP 源之前，你能验证我的 flume.conf 吗？

我目前只是尝试从小处着手来测试它：

所以我认为我的 batchSize/rollSize/rollCount 可能是这里的问题？

我打算使用 Flume 和 HTTPSource 将数据上传到 HDFS。接收器将配置为将数据保存到 Hive/Hbase 表。如果向 HDFS 写入数据时出现任何异常/错误，是否可以将其扔回客户端？如果 HTTPSourceHandler 无法解析数据或无法将数据发送到内存通道，则抛出异常，但是接收器抛出的异常可以发送回客户端吗？

我在水槽配置文件中有一个这样定义的推特水槽源

“keywords”属性被硬编码为“Avengers”。我想让这个属性值成为一个变量，并在我启动我的水槽代理时将它传递给它。我尝试了位置参数，但似乎不起作用。

关于如何完成这项工作的任何想法？

我是 Apache Flume 的新手，我有一个用例，其中有一个输入文件“sample.txt”，它会定期更新，最初包含以下数据

有时它会更新为

每当输入文件发生更改时，我希望使用 Apache Flume 将此文件写入 hdfs。任何人都可以建议我的链接或任何人都可以告诉我如何实现这一点

Flume 代理 1 无法连接到 Flume 代理 2。可能是什么原因？

我正在使用 Flume 使用 2 个代理将日志文件流式传输到 HDFS。第一个代理位于日志文件所在的源机器上，而第二个代理位于安装了 Hadoop 的机器（IP 地址为 10.10.201.40）中。

第一个代理的配置文件（flume-src-agent.conf）如下：

第二个代理的配置文件（flume-trg-agent.conf）如下：

当第一个代理运行时，我收到以下错误：

当第二个代理运行时，我收到以下错误：

我正在尝试使用水槽提取 twitter 数据。但我收到以下错误

我使用了 cloudera 的 flume-sources-1.0-SNAPSHOT.jar。TwitterAgent 运行时出现上述错误。有什么解决办法吗？

提前致谢。