1

在以下情况下，我想请求您的帮助。

我目前正在使用 Cloudera CDH 5.1.2，并尝试使用 Flume 收集 Twitter 数据，如下面的 porsts (Cloudera) 中所述：

在更新 pom.xml 中的版本后，我下载了源并重建了水槽源：

<flume.version>1.5.0-cdh5.1.2</flume.version>
<hadoop.version>2.3.0-cdh5.1.2</hadoop.version>

它工作得很好。

之后我想添加一个“语言”过滤器，只捕获特定语言的推文。为此，我修改了 TwitterSource.java 以调用 FilterQuery.language 方法，如下所示：

FilterQuery 查询 = 新的 FilterQuery();
...
if (languages.length != 0) {
query.language(languages);
}

我正在尝试使用 twitter4j-stream 版本 3.0.6。我在 pom.xml 中更新了它：

<!-- For the Twitter API -->
<dependency>
<groupId>org.twitter4j</groupId>
<artifactId>twitter4j-stream</artifactId>
<version>3.0.6</version>
</dependency>

通过这些设置，我重建了 jar（mvn 包）。

当我启动代理时，出现以下异常 (NoSuchMethodError)：

无法启动 EventDrivenSourceRunner：{ source:com.cloudera.flume.source.TwitterSource{name:Twitter,state:IDLE} } - 出现异常。java.lang.NoSuchMethodError: twitter4j.FilterQuery.language([Ljava/lang/String;)Ltwitter4j/FilterQuery; 在 com.cloudera.flume.source.TwitterSource.start(TwitterSource.java:165) 在 org.apache.flume.source.EventDrivenSourceRunner.start(EventDrivenSourceRunner.java:44) 在 org.apache.flume.lifecycle.LifecycleSupervisor$MonitorRunnable .run(LifecycleSupervisor.java:251) 在 java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471) 在 java.util.concurrent.FutureTask.runAndReset(FutureTask.java:304) 在 java.util。 concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$301(ScheduledThreadPoolExecutor.java:178) 在 java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask。

我查了一下，这个版本的 twitter4j-stream 包含语言方法：

  • github.com/yusuke/twitter4j/blob/3.0.6/twitter4j-stream/src/main/java/twitter4j/FilterQuery.java

我究竟做错了什么？

提前致谢，

彼得

4

2 回答 2

1

最后我设法解决了这个问题。所以这里是任何面临同样问题的人的解决方案。

首先（在原始帖子中的上述情况下）我将生成的 jar 放到/var/lib/flume-ng/plugins.d/twitter-streaming/lib/，并在 Cloudera Manager 配置中设置它以使用此位置。

在这种情况下，CM 将此目录放置在运行程序文件中的类路径的 and 中（在 parcel 目录之后）。所以类路径中的目录顺序如下所示：

  • /opt/cloudera/parcels/CDH-5.1.2-1.cdh5.1.2.p0.3/lib/flume-ng/lib/*

  • /var/lib/flume-ng/plugins.d/twitter-streaming/lib/*

不幸的是，parcel 目录中有一个 twitter4j-stream-3.0.3.jar 和 twitter4j-core-3.0.3.jar，flume 尝试使用它而不是 3.0.6，而在那个版本中FilterQuery.language显然不存在。

所以我只是从包裹目录中删除了那些罐子，现在它工作正常。

于 2015-01-27T22:31:04.683 回答
0

我试过这个，cdh3它对我很好。我注意到的一件事是系统时间应该设置为当前时间。在你的情况下，我认为它是在课堂上寻找Language方法。FilterQuery

于 2015-01-12T15:02:51.227 回答