5

我正在尝试在hadoop 2.6.0纱线上使用 Giraph。

我已经设法通过STATIC_SASL_SYMBOL<munge.symbols>. yarn profile使用命令:

sudo mvn -Phadoop_yarn -Dhadoop.version=2.6.0 -DskipTests package

然后我用 hadoop 2.6.0 设置了一个单节点集群,我能够执行基本的 wordcount 示例。我已将内置的 jar 复制到目录share/hadoop/mapreduce中以删除GiraphMaster未找到的执行。

现在我正在尝试SimpleShortestPaths使用以下命令运行示例:

$HADOOP_PREFIX/bin/hadoop jar /usr/local/giraph/giraph-examples/target/giraph-examples-1.2.0-SNAPSHOT-for-hadoop-2.6.0-jar-with-dependencies.jar org.apache.giraph.GiraphRunner org.apache.giraph.examples.SimpleShortestPathsComputation -vif org.apache.giraph.io.formats.JsonLongDoubleFloatDoubleVertexInputFormat -vip input_tiny2.txt -vof org.apache.giraph.io.formats.IdWithValueTextOutputFormat -op /user/hduser/output/shortestpaths445 -w 1 -ca giraph.SplitMasterWorker=false -yj giraph-examples-1.2.0-SNAPSHOT-for-hadoop-2.6.0-jar-with-dependencies.jar

使用的数据是 giraph 快速启动页面上的小图,这项工作应该需要几分钟才能完成,但事实并非如此。

完整日志位于http://pastebin.com/CW1FnWz2

可以让 giraph 在 hadoop 2.6.0 上工作还是我必须使用早期版本?如果是这样,你会建议哪一个?

4

0 回答 0