问题标签 [flume]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
client-server - Log is not getting printed in Flume server console
I have a standalone java application which uses log4j2 to print the logger statements. I have configured flume client and flume server. Flume server is working fine. When I run the java application, I get the connection created in server but the logger statements are not getting printed.
Here is the logger statements in Flume server console:
Please help me with this issue. How should I get the logger statements from java standalone application in Flume server console?
Thanks in advance.
logging - Apache Flume POC 问题
目前我正在开发一个 POC，以通过 Apache Flume 容器和 flume-ng-log4jappender 客户端从我们的 Web 应用程序服务器收集日志。在 Tomcat 实例中一切正常，但由于 JDK 不匹配而在与 Websphere 集成时遇到问题，因为我的本地 Websphere 在 JDK 1.5 上运行。
你能请。告诉我是否有任何客户端 java 程序可以在 JDK 1.5 环境下向 Flume 提交消息。感谢您的快速回复。
hadoop - Flume 尾部文件
我是 Flume-Ng 的新手，需要帮助来跟踪文件。我有一个运行 hadoop 的集群，flume 远程运行。我使用腻子与该集群通信。我想在我的 PC 上跟踪一个文件并将其放在集群中的 HDFS 上。我正在使用以下代码。
我相信错误在源头上。这种来源不使用主机名或 ip 来查找（在这种情况下应该是我的 PC）。有人可以给我一个提示，告诉我如何在我的 PC 上跟踪文件以使用 Flume 将其上传到远程的 HDFS。
hadoop - 从 Flume 流式传输数据以从不同目录收集数据
来自不同网络设备的日志被上传到不同的目录结构/appdat/logs/device//devicename.gzip。所以所有设备都会将它们的日志存储在各自的邮政编码目录中。可以使用任何现有的水槽源将任何子目录上的新上传文件发送到 HDFS，还是我需要编写一个新的自定义源。cloudera 版本正在使用的是 cdh4
hadoop - 用于单行和多行日志的自定义 RecordReader
我正在尝试创建一个 MR 作业，它将更改通过 Flume 加载到 HDFS 的日志文件的格式。我正在尝试将日志转换为字段由“:::”分隔的格式。例如
我遇到的问题是一些日志是单行的，而另一些是多行的，我需要在其余的日志字段中保持多行日志的完整性。我已经编写了一个自定义InputFormat并RecordReader尝试执行此操作（基本上只是NLineRecordReader修改为附加行直到它达到日期戳，而不是附加固定数量的行）。我用来格式化日志的 MR 工作似乎工作正常，但RecordReader似乎不能正常工作以传递多行，我不知道为什么。
这是我的 RecordReader 类：
这是用于格式化日志的 MR 作业：
以下是日志：
flume - Flume 批量大小
我的水槽配置是
哪个水槽过程10 reacords at each batch，我得到所有记录的相同时间。
因此，有可能批量获得每条记录的不同时间。
flume - 在 Flume-NG 中，有没有办法在 http 代理上检查心跳
我想在 Flume-NG 代理前面放置一个 ELB，我想知道是否有一种方法可以在不向代理发送任何事件的情况下检查水槽代理的状态/心跳。
apache - Flume：没有抛出错误，但flume无法完全传输文件
从过去的 2-3 周开始，我一直在研究水槽。我面临一个新情况，我不知道如何解决。
流程：使用基本流程，spoolDir -> fileChannel -> HDFS
.conf 文件中没有设置额外的参数
我尝试传输的文件大小：1.4GB
情况：代理启动正常，文件传输启动正常，源文件重命名为 .COMPLETED，完整文件未传输到 HDFS，没有抛出错误/异常。我多次运行相同的 adhoc，我发现在 1.4 gigs 中只有 ~169Mb 被转移。看起来很奇怪！
有什么建议么？有什么解决办法吗？任何假设？
flume - 水槽错误：连接被拒绝
请查看以下错误：Flume 代码：
让我知道我是否做错了什么。我实际上是在尝试在这里创建一个 avro 接收器，然后将其与其他代理（其代码不在此处）重定向到 HDFS。我似乎在连接到 localhost 的端口时出错。请提出一些解决方案。
hadoop - 编写自定义水槽 NG 源/接收器的最佳方法
我正在编写自定义水槽源和接收器，目前我没有看到重用现有水槽-ng 代码的最佳方法。例如，我无法扩展 AvroSource 类并轻松自定义某些功能，而无需复制/粘贴大量现有代码。是打算这样做还是我在这里做错了什么？