问题标签 [flume]

我是 apache 水槽的新手。
我正在尝试查看如何获取 json（作为 http 源），对其进行解析并根据内容将其存储到 hdfs 上的动态路径中。
例如：
如果 json 是：

那么 hdfs 路径将是：
/some-default-root-path/value1/value2/some-value-name-file
是否有这样的水槽配置可以让我这样做？

这是我当前的配置（通过http接受json，并根据时间戳将其存储在路径中）：

谢谢！

我开始研究一种工具，该工具应该能够近乎实时地处理来自系统（如 apache、syslog 等）的日志文件。

我正准备使用storm/flume/hbase-coprocessors 等工具来实现这一点。

因为我希望能够以“全生产速度”离线测试它，所以我正在寻找一种工具，它可以帮助我以与将系统连接到生产环境时相同的速度重播旧的生产日志文件。

我一直在想，基本上这就是我的想法：

1. 根据日志文件，我使用一些参数运行该工具：
   • 哪个日志文件
   • 行的哪一部分是时间戳
   • “现在”的时间偏移
2. 然后该工具读取文件（无输出），直到看到“now+offset”。
3. 然后它开始以与日志文件中的时间戳所指示的速度大致相同的速度输出行。

是否存在执行此类操作的现有工具？

还是有更好的解决方案来运行这种离线“全速”模拟？

第一次在这里的 Stack Overflow 提问者......将尝试包含尽可能多的细节。

我正在尝试通过 Avro 接收器将 Apache Flume 日志数据传输到 Node.js 服务器，并在特定端口上进行侦听。我打算使用Collective Media 的 node-avro 库来帮助在 Avro 的二进制格式和 JSON 之间进行序列化，这样我就可以处理 Node.js 中的数据（我通过socket.io pub/sub 将它传递给客户端）。

我很确定我已经正确配置了 Flume，因为我看到数据流过通道并输出到控制台（仅用于调试，我也将数据下沉到控制台）。但是，当我启用 Avro 接收器并启动侦听同一端口的 Node.js 服务器时，Flume 在尝试进行 Avro 传输时会引发异常：

我不确定的是如何确定我的 Node.js 服务是否至少收到了消息。我对 Node.js 很陌生，所以这无济于事，但这是设置侦听器的代码片段：

我在想我错误地设置了 Node.js 端。我正在使用 HTTP 模块，它可能不是正确的模块。也许我需要考虑在 Node.js 中编写自定义接收器？指针/帮助表示赞赏！

我想聚合日志文件（每天 10GB），提取 ERROR 日志，然后将它们写入 Oracle DB，我可以使用 apache-flume 来实现吗？

我阅读了文档，但没有找到类似“Oracle Sink”的内容，因此我将创建一个自定义 Sink 来将 Flume 事件写入 Oracle。这是个好主意吗？

周围有许多开源消息传递系统，每个都有自己的设置步骤。这个问题是关于 Apache Flume 的，以及一个非常简单的用例——在两台服务器之间移动数据。安装和配置 Flume 仅在两台服务器之间移动数据需要多少步骤，以及在每个步骤中要做出多少决策？

我正在尝试为 flume-ng 编写一个自定义接收器。我查看了现有的接收器和文档并将其编码。但是，应该接收事件的 'process()' 方法总是以 null 结束。我在做 Event event = channel.take(); 但该事件为空。我在日志中看到该方法被重复调用，因为事件仍在通道中。

有人可以指出我正确的方向吗？

我正在使用 cdh3 update 4 tarball 进行开发。我已经启动并运行了 hadoop。现在，我还从 cloudera viz 1.1.0 下载了等效的 flume tarball，并尝试使用 hdfs-sink 将日志文件的尾部写入 hdfs。当我运行水槽代理时，它开始正常，但在尝试将新事件数据写入 hdfs 时出错。我找不到比 stackoverflow 更好的小组来发布这个问题。这是我正在使用的水槽配置

此外，这是一小段错误，当它接收到新的事件数据并尝试将其写入 hdfs 时，它会显示在控制台中。

我想了解 flume-ng 将如何处理文件名冲突方面的这种情况。假设我有几个配置相同的水槽代理实例，客户端将它们用作负载平衡组。

a1.sinks.k1.hdfs.path = /flume/events/path

Flume 代理如何生成文件名以使它们在代理之间具有唯一性？它是否以某种方式将代理名称附加到它（名称看起来像数字，所以很难弄清楚）？

我刚开始玩 Flume。我有一个关于如何将多行日志条目作为单个事件处理的问题。就像错误条件下的堆栈跟踪一样。例如，将以下内容视为单个事件，而不是每行一个事件

2013-04-05 05:00:41,280 错误（ClientRequestPool-PooledExecutionEngine-Id#4）[com.ms.fw.rexs.gwy.api.service.AbstractAutosysJob] 作业因 228794 java.lang.NullPointerException 在 com.ms 失败.fw.rexs.core.impl.service.job.ReviewNotificationJobService.createReviewNotificationMessageParameters(ReviewNotificationJobService.java:138) ....

我已将源配置为 spooldir 类型。

谢谢你苏曼

我刚刚开始研究使用 hdfs 接收器向 hdfs 写入消息的水槽。我想知道水槽源是否可以充当我的消息代理的 jms 消费者。

水槽是否提供与消息代理的集成。或者我是否需要编写一个自定义 jms 客户端，将消息推送到水槽源。