问题标签 [flume]

我想了解这些项目的替代方案，特别是设计用于从多个节点 (>500) 的日志中聚合数据，并设计用于低内存/cpu 使用率。
我熟悉 scribe、flume 和 chukwa，我认为它们使用了太多资源（JRE、许多库）。

欢迎所有关于以低使用方式聚合来自多个节点的数据的评论和建议。

我想用flume从控制台收集日志，我用以下命令启动flume：

但它说：

10/09/22 13:59:21 INFO agent.FlumeNode：从命令行加载规范：'节点：控制台 | 代理BESink（“本地主机”，12345）'

22 年 10 月 9 日 13:59:21 WARN agent.FlumeNode：捕获异常加载节点：解析器错误：位置 -1 第 0 行的意外“null”：“节点：控制台 | 代理BESink（“本地主机”，12345）'

我错过了什么？我按照cloudera的howto。预计会起作用，不是吗？

我正在为 Cloudera 的分布式日志聚合系统 Flume 编写自定义装饰器插件。我的Java代码如下：

这可以很好地用 ant 编译成 JAR 文件，我可以在运行时将它加载到 Flume 并成功配置节点以使用它。但是，当在加载了此插件的节点上实际发生事件时，我的日志中会出现如下错误：

（这[logicalNode xxxxx]是 EC2 内部 DNS 名称的占位符）。我没有很多 Java 经验，所以我不确定我在这里做错了什么，或者这是一个 Flume 错误。我应该提一下，我是使用 Flume 源代码中的 HelloWorld 插件示例编写的，并且还借鉴了一些内置的 Flume 装饰器。

我有一个分布在 7 台服务器上的移动服务，每台服务器都执行特定的任务。我想从他们那里记录信息，然后从他们那里获得商业智能。我已经将它四舍五入到 Flume。我如何使用它来收集信息？我的系统是用 PHP 编写的。水槽是否适用于 PHP？

我正在使用 Flume 将日志收集到 HDFS。对于测试用例，我有小文件（~300kB），因为日志收集过程已针对实际使用进行了扩展。

有没有什么简单的方法可以将这些小文件组合成更接近 HDFS 块大小（64MB）的大文件？

是否可以在 Flume 代理上指定压缩选项，以便以压缩格式将数据传输到收集器？我知道收集器级别有压缩选项，但是能够从代理传输压缩数据也非常有用。

谢谢！

我可以在 Windows 上运行 Cloudera Flume 节点，但无法运行 Flume 主节点。这是可能的，你怎么能做到？

Flume 在 /var/log/flume 文件夹中生成日志。那里的文件以 GB 为单位增长。如何限制这些日志的文件大小？

我们正在使用水槽，我需要将一些日志消息收集到 rabbitmq 中。我找到了一个从rabbitmq读取消息的源实现，但是我找不到可以将消息写入rabbit的接收器。所以我想自己写一个。查看像logsandra这样的示例实现让我觉得应该不会太难。

但是我找不到任何关于如何编写自定义接收器的文档。我没有找到用于水槽罐的 maven 存储库，也没有找到有关如何部署自定义接收器的设置说明。

任何人都可以分享他的经验，或者更好的是，将我指向现有的教程。

不确定这是一个 SO、SuperUser 还是 ServerFault 问题，但我刚刚在我的 Windows 机器上安装了 FlumeNode 服务，我想通过命名管道将日志信息发送到 FlumeNode。

Flume Cookbook指出我们可以将命名管道尾随到 Flume，但这似乎需要 cygwin，而且我们不太可能在所有 Flume 节点上安装 cygwin。以下是食谱中的说明：

控制台源很有用，因为我们可以直接将数据通过管道传输到 Flume。下一个示例将程序中的数据通过管道传输到 Flume，然后由 Flume 传递数据。

理想情况下，您可以将数据写入命名管道，然后让 Flume 使用 text 或 tail 从命名管道读取数据。不幸的是，这个版本的 Flume 的 text 和 tail 目前不兼容 Linux 环境中的命名管道。但是，您可以将数据通过管道传输到在标准输入控制台上侦听的 Flume 节点：

或者您可以使用 exec 源来获取其输出数据：

我还找到了关于这个想法的关于谷歌群组的讨论，似乎 Claudera 人说这是可能的，但没有具体解释 Flume 如何连接到管道以及在这种情况下它是否充当服务器或客户端。

理想情况下，我应该能够在我的应用程序中创建 aNamedPipeClientSteram或 a NamedPipeServerStream。客户端需要一个命名管道服务器来运行，并且客户端寻找连接到它的客户端。我假设 Flume 将充当服务器，但我无法确认这一点。例如

在 Windows 中启动 Flume 服务时，是否可以将某些内容添加到命令行参数中，以拖尾管道？