问题标签 [flume-twitter]

当我尝试使用 Apache Flume 使用此命令流式传输 Twitter 数据时

控制台卡在这里，flume 没有在 HDFS 系统中流式传输数据：

import twitter运行源数据时出现以下错误

谁能帮我解决这个问题？

我正在尝试在 HDFS 中获取 twitter 数据但遇到问题。

这是我的flume.conf 文件

在Env.sh文件中，我有路径

现在我正在使用以下命令来获取数据-

它显示了一些日志，但我收到以下错误，并且在 HDFS 接收器启动后卡住了。

在 hadoop 中运行以下命令时出现错误

执行水槽命令时显示以下错误

**在运行flume命令时出现以下错误，我尝试更改.bashrc中的env变量以及flume.env.sh中的类路径，仍然没有用

Picked up JAVA_TOOL_OPTIONS: -javaagent:/usr/share/java/jayatanaag.jar 16/12/08 01:57:11 INFO node.PollingPropertiesFileConfigurationProvider: Configuration provider starting 16/12/08 01:57:11 INFO node.PollingPropertiesFileConfigurationProvider: Reloading configuration file:../conf/twitter.conf 16/12/08 01:57:11 WARN conf.FlumeConfiguration: Invalid property specified: sink.HDFS.hdfs.path 16/12/08 01:57:11 WARN conf.FlumeConfiguration: Configuration property ignored: TwitterAgent.sink.HDFS.hdfs.path = hdfs://localhost:8020/datamain/tweets 16/12/08 01:57:11 WARN conf.FlumeConfiguration: Invalid property specified: sink.HDFS.hdfs.writeFormat 16/12/08 01:57:11 WARN conf.FlumeConfiguration: Configuration property ignored: TwitterAgent.sink.HDFS.hdfs.writeFormat = Text 16/12/08 01:57:11 WARN conf.FlumeConfiguration: Invalid property specified: sink.HDFS.hdfs.rollCount 16/12/08 01:57:11 WARN conf.FlumeConfiguration: Configuration property ignored: TwitterAgent.sink.HDFS.hdfs.rollCount = 10000 16/12/08 01:57:11 INFO conf.FlumeConfiguration: Added sinks: HDFS Agent: TwitterAgent 16/12/08 01:57:11 WARN conf.FlumeConfiguration: Invalid property specified: sink.HDFS.hdfs.rollSize 16/12/08 01:57:11 WARN conf.FlumeConfiguration: Configuration property ignored: TwitterAgent.sink.HDFS.hdfs.rollSize = 0 16/12/08 01:57:11 WARN conf.FlumeConfiguration: Invalid property specified: sink.HDFS.channels 16/12/08 01:57:11 WARN conf.FlumeConfiguration: Configuration property ignored: TwitterAgent.sink.HDFS.channels = MemChannel 16/12/08 01:57:11 WARN conf.FlumeConfiguration: Invalid property specified: sink.HDFS.hdfs.batchSize 16/12/08 01:57:11 WARN conf.FlumeConfiguration: Configuration property ignored: TwitterAgent.sink.HDFS.hdfs.batchSize = 1000 16/12/08 01:57:11 WARN conf.FlumeConfiguration: Invalid property specified: sink.HDFS.hdfs.fileType 16/12/08 01:57:11 WARN conf.FlumeConfiguration: Configuration property ignored: TwitterAgent.sink.HDFS.hdfs.fileType = DataStream 16/12/08 01:57:11 WARN conf.FlumeConfiguration: Invalid property specified: sink.HDFS.type 16/12/08 01:57:11 WARN conf.FlumeConfiguration: Configuration property ignored: TwitterAgent.sink.HDFS.type = hdfs 16/12/08 01:57:11 WARN conf.FlumeConfiguration: Invalid property specified: sink.HDFS.hdfs.rollInterval 16/12/08 01:57:11 WARN conf.FlumeConfiguration: Configuration property ignored: TwitterAgent.sink.HDFS.hdfs.rollInterval = 600
16/12/08 01:57:11 WARN conf.FlumeConfiguration: no context for sinkHDFS 16/12/08 01:57:12 INFO conf.FlumeConfiguration: Post-validation flume configuration contains configuration for agents: [TwitterAgent] 16/12/08 01:57:12 INFO node.AbstractConfigurationProvider: Creating channels 16/12/08 01:57:12 INFO channel.DefaultChannelFactory: Creating instance of channel MemChannel type memory 16/12/08 01:57:12 INFO node.AbstractConfigurationProvider: Created channel MemChannel 16/12/08 01:57:12 INFO source.DefaultSourceFactory: Creating instance of source Twitter, type org.apache.flume.source.twitter.TwitterSource 16/12/08 01:57:12 ERROR node.PollingPropertiesFileConfigurationProvider: Failed to load configuration data. Exception follows. org.apache.flume.FlumeException: Unable to load source type: org.apache.flume.source.twitter.TwitterSource, class: org.apache.flume.source.twitter.TwitterSource at org.apache.flume.source.DefaultSourceFactory.getClass(DefaultSourceFactory.java:67) at org.apache.flume.source.DefaultSourceFactory.create(DefaultSourceFactory.java:40) at org.apache.flume.node.AbstractConfigurationProvider.loadSources(AbstractConfigurationProvider.java:327) at org.apache.flume.node.AbstractConfigurationProvider.getConfiguration(AbstractConfigurationProvider.java:102) at org.apache.flume.node.PollingPropertiesFileConfigurationProvider$FileWatcherRunnable.run(PollingPropertiesFileConfigurationProvider.java:140) at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471) at java.util.concurrent.FutureTask.runAndReset(FutureTask.java:304) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$301(ScheduledThreadPoolExecutor.java:178) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) at java.lang.Thread.run(Thread.java:745) Caused by: java.lang.ClassNotFoundException: org.apache.flume.source.twitter.TwitterSource at java.net.URLClassLoader$1.run(URLClassLoader.java:366) at java.net.URLClassLoader$1.run(URLClassLoader.java:355) at java.security.AccessController.doPrivileged(Native Method) at java.net.URLClassLoader.findClass(URLClassLoader.java:354) at java.lang.ClassLoader.loadClass(ClassLoader.java:425) at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308) at java.lang.ClassLoader.loadClass(ClassLoader.java:358) at java.lang.Class.forName0(Native Method) at java.lang.Class.forName(Class.java:195) at org.apache.flume.source.DefaultSourceFactory.getClass(DefaultSourceFactory.java:65) ... 11 more ** twitter.conf 中的 sink 命令似乎也有问题，但我无法弄清楚，下面是 twitter.conf 文件

这是我的 flume.env.sh 文件详细信息

.bashrc 详细信息

尝试更改快照文件路径仍然无效，

这里移动了 lib 文件夹中的快照 jar 在运行 flume 命令后出现此错误，即

user@ubuntu:~/hadoop_store/apache-flume-1.4.0-bin/bin$ ./flume-ng agent -n TwitterAgent -c conf -f ../conf/twitter1.conf

也试过

user@ubuntu:~/hadoop_store/apache-flume-1.4.0-bin/bin$ ./flume-ng agent -n TwitterAgent -c conf -f /home/user/hadoop_store/apache-flume-1.4.0-bin /conf/twitter1.conf

原因在一个类似的问题中提到过，这就是它所说的

这是我的 twitter1.conf 文件，是否有任何错误

无法弄清楚这里有什么问题

在将 Flume 代理收集的 Twitter 数据传递给 Spark Stream 时遇到问题。我可以在只使用 Flume 的同时独立下载 twits。但我收到以下错误。我觉得这是 FlumeUtils.createStream() 中默认 UTF-8 编码的问题。我怎样才能改变它？我应该改变什么？

pyspark 终端上的错误：

PySpark 代码：

Cmd 启动 pyspark

水槽配置：

Cmd 运行水槽代理：

我使用 Flume 来获取 Twitter 数据。此数据作为 avsc 文件存储在 hdfs 中。我创建了 avro 模式文件“tweeter.avsc”并将其保存在 hdfs 中。但是当我尝试使用下面的命令创建外部表时，我得到了错误。

命令：

但我得到一个错误：

失败：执行错误，从 org.apache.hadoop.hive.ql.exec.DDLTask 返回代码 1。java.lang.RuntimeException：MetaException（消息：org.apache.hadoop.hive.serde2.SerDeException 遇到异常确定模式。返回信号模式以指示问题：org.codehaus.jackson.JsonParseException：意外字符（'<'（代码 60 ))：在 [Source: sun.net.www.protocol.http.HttpURLConnection$HttpInputStream@7851cf69; 行： 1、栏目：2])

请帮忙。

我正在创建一个avro serde用于存储 twitter 数据的配置单元表。

这是代码-

我收到错误-

我已经尝试将 avsc 文件的输入作为

在本地和 hdfs 文件系统中，我都遇到了同样的错误。

我正在使用Flume 1.6.0-cdh5.9.1使用 Twitter 源流式传输推文。

配置文件如下：

对于 Cloudera .jar 依赖项，我flume-sources-1.0-SNAPSHOT.jar使用 Maven 构建了以下依赖项：

现在，当我运行 Flume 代理时，它成功启动，连接到 Twitter，但在最后一行（接收状态流）之后停止：

在最后一行之后没有任何反应。它不会终止，不会流式传输任何内容。我查看了 HDFS 位置，那里没有创建任何内容。

有人可以在这里帮助我吗？