2

我有一个在 Amazon EMR 上运行并输出到 HDFS 平面文件的 Hadoop map reduce 类。一切都很好，但现在我需要输出到同样在 AWS 上运行的 Cassandra DB。我构建并运行了一个本地客户端并使其正常工作，然后将 Cassandra 编写代码移动到我的 Hadoop 项目中。问题似乎在于 Amazon 吸引 /home/hadoop/lib/netty-3.2.4.Final.jar了 Hadoop 1.0.3，但在 AWS 上运行的 Cassandra 是 1.2.6 并使用netty-3.5.9.Final.jar.

我可以做些什么来防止或规避这种冲突？我可以在使用 Amazon EMR 的同时绘制我的新版 netty 吗？

我在 EMR 上运行 jar 得到的错误如下：

Exception in thread "main" java.lang.NoSuchMethodError: org.jboss.netty.handler.codec.frame.LengthFieldBasedFrameDecoder.<init>(IIIIIZ)V
    at org.apache.cassandra.transport.Frame$Decoder.<init>(Frame.java:147)
    at com.datastax.driver.core.Connection$PipelineFactory.getPipeline(Connection.java:616)
    at org.jboss.netty.bootstrap.ClientBootstrap.connect(ClientBootstrap.java:212)
    at org.jboss.netty.bootstrap.ClientBootstrap.connect(ClientBootstrap.java:188)
    at com.datastax.driver.core.Connection.<init>(Connection.java:111)
    at com.datastax.driver.core.Connection.<init>(Connection.java:56)
    at com.datastax.driver.core.Connection$Factory.open(Connection.java:387)
    at com.datastax.driver.core.ControlConnection.tryConnect(ControlConnection.java:211)
    at com.datastax.driver.core.ControlConnection.reconnectInternal(ControlConnection.java:174)
    at com.datastax.driver.core.ControlConnection.connect(ControlConnection.java:87)
    at com.datastax.driver.core.Cluster$Manager.init(Cluster.java:609)
    at com.datastax.driver.core.Cluster$Manager.access$100(Cluster.java:553)
    at com.datastax.driver.core.Cluster.<init>(Cluster.java:67)
    at com.datastax.driver.core.Cluster.buildFrom(Cluster.java:94)
    at com.datastax.driver.core.Cluster$Builder.build(Cluster.java:534)
    at GraphAnalysis.MatrixBuilder.compileOutput(MatrixBuilder.java:282)
    at GraphAnalysis.MatrixBuilder.main(MatrixBuilder.java:205)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
    at java.lang.reflect.Method.invoke(Method.java:597)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:187)
4

1 回答 1

2

我的一个内部模块遇到了类似的问题，该模块使用了 netty-3.2.4.jar，但该模块缺少功能。

最终我不得不对 jar 文件进行心脏直视手术。

  1. 使用 展开嵌入旧 netty 库的 jar 文件jar -xvf oldlibrary.jar
  2. 删除文件夹 org/jboss/netty。
  3. 然后将新的netty jar文件展开到一个单独的文件夹中
  4. 将新的 org/jboss/netty 文件夹及其内容复制到旧位置cp -prf netty .
  5. 创建一个新的 JAR 包jar -cvf ../new_jarfile.jar *

这是一种罕见的情况，但您可以应用此方法来克服库不兼容的问题。确保您的程序仍在运行。如果您以这种方式更改底层库，则您的原始程序将无法运行某些更改。一个设计良好的库应该不知道这些变化。

于 2013-10-16T21:55:23.093 回答