问题标签 [flume-ng]

我有一个带有 httpsource 的水槽。当我启动我的代理时，我收到如下所示的权限被拒绝错误。

错误 org.apache.flume.source.http.HTTPSource：启动 HTTPSo$ java.net.SocketException 时出错：权限被拒绝

我不确定是什么被拒绝以及如何解决它。

我使用的水槽取自另一篇文章，如下所示。

如何设置 HTTP 源以测试 Flume 设置？

谢谢

谁能告诉我cloudera在哪里保存水槽代理文件？实际上，我想创建另一个水槽代理，例如我想同时运行两个水槽代理但找不到方法。

我有一个问题。我正在使用 apache flume 从 txt 文件读取日志以接收到 hdfs。不知何故，一些记录在阅读时被跳过。我正在使用 fileChannel 请检查以下配置。

请帮忙。

我是水槽的新手，我使用水槽通过搜索 API 从 twitter 流式传输数据。但是 twitter json 的“geo”键设置为空。那么有没有办法在 Flume 中使用 Streaming API 获取 twitter 数据。？

我正在尝试使用 Flume-ng 将数据写入 Hdfs 作为 exec 源。但它总是以退出代码 127 结束。它还显示类似警告

无法从 VM 获取 maxDirectMemory：NoSuchMethodException：sun.misc.VM.maxDirectMemory(null)。

这是 exec.conf 文件

这是我在控制台上得到的输出

我正在尝试从日志服务器创建一个日志文件并将其推送到 oracle。有没有办法我可以使用 Flume（没有 HDFS 设置）将日志文件推送到 ORACLE 来实现相同的功能？任何帮助将不胜感激。

我正在使用水槽 JMS 源从 ActiveMQ 出列消息并将此消息转换为List<Event>使用自定义转换器

通道配置

当大小List<Event>小于或等于 1500（通道事务容量）时，flume 将事件写入通道，但如果事件大小大于 1500，则出现以下异常

错误日志

如何解决这个问题呢？

注意：事件大小根据 ActiveMQ 消息动态变化

我Apache Flume用来在我的源和接收器之间传递事件。我使用Avro协议。我通过 传递多个事件RpcClient，我遇到了一个问题，当我传递更多事件时，通道会脱机并显示连接错误。无论如何要创建池连接以使其永远保持活动状态。？

我在用log4j 1.2

如何将 log4j 日志发送到侦听套接字的任意程序。我尝试了以下选项

1. SocketAppender- 它期望 aSocketNode在端口上侦听。
2. TelnetAppender但它将日志发送到只读端口。

我真正要找的是将log4j日志发送到Flume. 我知道log4j2.X有一个FlumeAppender但不确定它是否适用log4j1.2

如何在 Linux 中将日志文件从 Windows 7 流式传输到 HDFS？

Windows 中的 Flume 报错

我在 Windows 7 (Node 1) 上安装了“flume-node-0.9.3”。'flumenode' 服务正在运行并且可以访问 localhost:35862。
在 Windows 中，日志文件位于 'C:/logs/Weblogic.log'
CentOS Linux（节点 2）中的 Flume 代理也在运行。

1. 在 Windows 机器中，JAVA_HOME 变量设置为“C:\Program Files\Java\jre7”
2. Java.exe 文件位于“C:\Program Files\Java\jre7\bin\java.exe”
3. Flume 节点安装在“C:\Program Files\Cloudera\Flume 0.9.3”

这是放置在 Windows 7（节点 1）上 Flume 的“conf”文件夹中的 flume-src.conf文件

我尝试通过在 Flume 文件夹中执行以下命令来运行上述文件：

但它给出了以下信息：

这是在 CentOS（节点 2）中运行的trg-node.conf文件。CentOS 节点工作正常：