问题标签 [flume-twitter]

我正在尝试使用 Flume 进行 Twitter 分析。为了从 twitter 获取推文，我在 flume.conf 文件中设置了所有必需的参数（consumerKey、consumerSecret、accessToken 和 accessTokenSecret）。

flume-env.sh 中的类路径

当我运行水槽代理时

谁能说出为什么我已经设置了水槽 source.jar 时会引发此错误。请帮助我解决这个问题。

当我运行这个命令

水槽正在启动，但一段时间后它抛出了不允许水槽下载的异常。我收到以下错误：

出现此错误后，它会尝试检查，但无法下载数据。

我是 Hadoop 和 Flume 的新手。

无法读取和解析使用 Flume twitter 代理通过流式 twitter 数据创建的文件，既不使用 Java 也不使用 Avro 工具。我的要求是将 avro 格式转换为 JSON 格式。

使用任何一种方法时，我都会遇到异常：org.apache.avro.AvroRuntimeException: java.io.IOException: Block size invalid or too large for this implementation: -40

我在伪节点集群中使用 Hadoop vanilla 配置，hadoop 版本是 2.7.1

Flume 版本是 1.6.0

twitter代理的flume配置文件和解析avro文件的java代码附在下面：

我得到的异常堆栈跟踪是：

我还需要为正确读取 Avro 文件提供 Avro 架构，如果需要，在哪里？

其他可用的框架是什么，例如 spring XD、Flume？其中哪一个是最好的；请告知携带数据的步骤。

我正在使用 CDH 4.7 并尝试使用 Flume 将流式 Twitter 数据下载到 hadoop。我正在执行以下命令。但它在 /user/flume 路径中显示了一些权限被拒绝的问题。

如何解决这个问题？

我已经编写了名为 MySink 的自定义水槽水槽，其处理方法在下面的第一个片段中指示。我得到一个 IllegalStateException 如下（详细的堆栈跟踪可在下面的第二个片段中找到）：

原因：java.lang.IllegalStateException: begin() 在事务打开时调用！

问题：在编写 process 方法时，我在 Flume 代码库中遵循了 KafkaSink 和类似的现有接收器实现，并且我对那些退出的接收器应用了相同的事务处理逻辑。你能告诉我我的处理方法有什么问题吗？我该如何解决这个问题？

PROCESS 方法（我已经标记了抛出异常的位置）：

异常堆栈：

我在 c:\hadoop2.5.2 中安装 hadoop，然后在 c:\hadop2.5.2\apache-flume-1.6.0 下解压缩水槽二进制文件

我收到如下所示的错误有什么想法吗？

我在flume.sh中设置了参数

请大家知道如何解决这个问题吗？

我无法找到 HDFS 路径并保存 Twitter 的日志文件。它还给出了两个警告。

错误是：

java.io.IOException：不完整的 HDFS URI，没有主机：hdfs://l27.0.0.1:9000/tweets/movies/2016/01/29/01/FlumeData.1454010974716.tmp

我core-site.xml的是

试图在 HortonWorks 中获取 Apache Flume 推文。（使用教程点参考）

Flume 配置正确。这是flume.conf

在我运行水槽代理后：

屏幕在这一点上冻结。让我知道如何进行？还是由于沙盒，我应该等待很长时间？ 在此处输入图像描述

当我尝试 Cloudera 5.4.2 时有一个小问题。根据这篇文章

Apache Flume - 获取 Twitter 数据 http://www.tutorialspoint.com/apache_flume/fetching_twitter_data.htm

它尝试使用 Flume 和 twitter 流获取推文以进行数据分析。一切顺利，创建 Twitter 应用程序，在 HDFS 上创建目录，配置 Flume 然后开始获取数据，在推文之上创建模式。

那么，问题来了。Twitter 流将推文转换为 Avro 格式并将 Avro 事件发送到下游 HDFS 接收器，当 Avro 支持的 Hive 表加载数据时，我收到错误消息“Avro 块大小无效或太大”。

哦，什么是avro块和块大小的限制？我可以改变它吗？根据这个消息是什么意思？是文件的错吗？是某些唱片的错吗？如果 Twitter 的流媒体遇到错误数据，它应该核心化。如果可以将推文转换为 Avro 格式，反过来，Avro 数据应该可以正确读取，对吧？

我也尝试了 avro-tools-1.7.7.jar

同样的问题。我google了很多，根本没有答案。

如果你也遇到这个问题，谁能给我一个解决方案？或者，如果您完全了解 Avro 的东西或下面的 Twitter 流，有人可以提供线索。

这真是一个有趣的问题。想想看。