问题标签 [flume-ng]

我正在尝试让我的弹性搜索接收器启动并运行。但是，我收到以下错误，并且对如何修复它没有任何想法。任何帮助表示赞赏。这是错误：

2015-02-10 11:43:31,234 错误 org.apache.flume.lifecycle.LifecycleSupervisor: 无法启动 SinkRunner: { policy:org.apache.flume.sink.DefaultSinkProcessor@79a805d2 counterGroup:{ name:null counters:{} } } - 例外如下。java.lang.NoSuchFieldError: org.elasticsearch.client.transport.TransportClient.(TransportClient.java:168) org.elasticsearch.client.transport.TransportClient 的 org.elasticsearch.Version.(Version.java:45) 的 LUCENE_3_6。 (TransportClient.java:123) 在 org.apache.flume.sink.elasticsearch.client.ElasticSearchTransportClient.openClient(ElasticSearchTransportClient.java:201) 在 org.apache.flume.sink.elasticsearch.client.ElasticSearchTransportClient.(ElasticSearchTransportClient.java: 79) 在 org.apache.flume.sink.elasticsearch.client.ElasticSearchClientFactory.getClient(ElasticSearchClientFactory.java:

我正在运行 CDH 5.3 和 elasticsearch 1.4.2

我正在尝试将 700 MB 的日志文件flume从HDFS. 我已将flume代理配置如下：

源是 a spooldir，通道是memory，接收器是hdfs。

我还尝试发送一个 1MB 的文件，并将其拆分为 1000 个文件，每个文件的大小为 1KB。我注意到的另一件事是传输非常慢，1MB 大约需要 1 分钟。难道我做错了什么？

我编写了一个 Java 应用程序，它构建 Flume 配置文件并将它们写入 Linux 机器上的磁盘。然后应用程序构建flume命令并尝试通过运行以下代码中的命令来启动flume代理：

如果我使用水槽命令并通过终端手动执行它，它工作正常。当 java 应用程序尝试执行 flume 命令时，什么也没有发生。这是一个类路径问题吗？

此处的 Flume 命令：/root/flume-flume-1.6/flume-ng-dist/target/apache-flume-1.6.0-SNAPSHOT-bin/apache-flume-1.6.0-SNAPSHOT-bin/bin/flume-ng代理 --conf conf --conf-file /root/flumeconfs/ConsumerGroup4.conf --name Agent_ConsumerGroup4 -Dflume.root.logger=INFO,console -Dflume.monitoring.type=http -Dflume.monitoring.port=34548

我知道嵌入式代理是另一种选择，但这些仅适用于对我来说不是很有用的 avro sink。欣赏任何想法。干杯，科尔曼

我正在使用 Morphline Solr Sink 在 Solr 中存储信息。我面临的问题是水槽代理永远不会停止重试失败的请求，有时会随着时间的推移而增加。这会导致正在使用 MaxIO Workers 的水槽警告，并且系统会遇到性能问题。除了编写我自己的接收器之外，还有什么方法可以使水槽停止重试或成倍地退避以获得更好的系统性能？我的来源是 avroSource。

谢谢。

我正在使用 Flume 1.4.0，并且试图以某种方式停止 Flume 的组件：

• 首先，停止来源。
• 然后等到通道内的所有事件都被接收器消耗掉。
• 消费完所有事件后，停止通道和接收器。

上述任务是由一个关闭钩子执行的，就像在中创建的一样org.apache.flume.node.Application（实际上，我正在开发一个自定义的Application）。

我获得对源、通道和接收器的引用的方式是：

关键是我得到了这个NullPointerException：

HTTPSource.java:165是关于停止 Jetty 服务器实现源的 Http 服务器部分，这似乎是空的：

为什么它是空的？源工作正常，并且能够接收 Http 请求。

我猜这不是关闭 Flume 组件的正确方法……如果不是，那是什么？

谢谢！

I have installed HBase and Flume using Apache Cloudera. I have a flume agent running on a linux server, where the HBase current master is running. I'm trying to write from a spooldir to HBase but I get the following error:

Flume configuration:

I tried to modify the flume-env.sh and set HBASE_HOME HADOOP_HOME, but it changed nothing.

I have succeeded to write to HDFS, but the HBase is making problems.

编辑*：这是完整的配置文件：

直到最近我还没有 idleTimeout 和 maxOpenFiles。因此，即使使用这两个选项的默认配置，它也无法正常工作。

关于使用 Flume 聚合 Kafka 数据的问题。目前，Flume 每秒创建一个新文件用于读取流数据。这些是我的设置：

我不完全确定的一个设置是rollCount，所以一些附加信息：

我得到 80 字节/秒，我的一些文件是 80 字节，有 2 条消息，有些是 160 字节，但有 4 条消息。所以它不是根据时间或大小来做的，所以它可能必须与计数有关，但我不明白为什么这么小的消息会注册为 1000 个事件？

感谢您的帮助！

• kafka_2.10-0.8.2.0
• 水槽 1.6

这是我的水槽配置：

我收到以下错误：

有人可以帮忙吗？

我正在尝试查找 Cassandra 水槽水槽的模板/样本。我在网上看过，我在 github 上找到的两个项目都有过时的依赖项（JAR），我在任何地方都找不到那些神器:(。

谢谢！期待任何参考。

我正在尝试设置数据管道，其中应用程序服务器通过网络发送（使用 log4j 日志记录）日志事件到水槽（使用水槽 log4j 附加程序）到水槽代理正在使用的 avrosource

我尝试了以下配置，但它只附加了运行代理的主机的 IP

A1.sources.logE.interceptors = hostint A1.sources.logE.interceptors.hostint.type = org.apache.flume.interceptor.HostInterceptor$Builder A1.sources.logE.interceptors.hostint.preserveExisting = true A11.sources.logE.interceptors.hostint.useIP = false