问题标签 [giraph]

我正在尝试从 giraph 孵化器（https://cwiki.apache.org/confluence/display/GIRAPH/Shortest+Paths+Example）运行最短路径示例。但是，我没有从 giraph-*-dependencies.jar 执行示例，而是创建了自己的作业 jar。当我按照示例中所示创建单个作业文件时，我得到了

然后我将内部类（SimpleShortestPathsVertexInputFormat 和 SimpleShortestPathsVertexOutputFormat）移动到分隔文件并重命名它们以防万一（SimpleShortestPathsVertexInputFormat_v2，SimpleShortestPathsVertexOutputFormat_v2）；这些类不再是静态的。这已经解决了 SimpleShortestPathsVertexInputFormat_v2 找不到类的问题，但是对于 SimpleShortestPathsVertexOutputFormat_v2，我仍然遇到相同的错误。下面是我的堆栈跟踪。

我检查了我的工作罐子，所有课程都在那里。此外，我在伪分布式模式下使用 hadoop 0.20.203。我开始工作的方式如下所示。

我还为 giraph-*-dependencies.jar 定义了 HADOOP_CLASSPATH。我可以毫无问题地运行 PageRankBenchmark 示例（直接来自 giraph-*-dependencies.jar），并且短路路径示例也可以正常工作（也直接来自 giraph-*-dependencies.jar）。其他 hadoop 作业可以正常工作（我读过某处以测试我的“集群”是否正常工作）。有没有人遇到过类似的问题？任何帮助将不胜感激。

解决方案（很抱歉这样发布，但我在几个小时内无法回答我自己的问题）

为了解决这个问题，我必须将我的 Job jar 添加到 -libjars 中（没有对 HADOOP_CLASSPATH 进行更改）。启动作业的命令现在看起来像这样。

罐子列表必须用逗号分隔。虽然这解决了我的问题。我仍然很好奇为什么我必须将我的工作 jar 作为“类路径”参数传递？有人可以解释一下这背后的理性是什么吗？因为我发现调用我的工作 jar 然后再次将它作为“类路径”jar 传递它很奇怪（至少可以说）。我真的很好奇这个解释。

我正在尝试构建 giraph-formats jar...与依赖项.. 将其用于我的项目，但即使在成功构建之后，我也无法获取 jar 文件。

我曾尝试将程序集部分添加到 pom，以构建具有依赖项的 jar，但它几乎没有遗漏 hive 的定义，这会导致更难解决的错误。我不知道出了什么问题。

我正在使用maven 3.04和hadoop 0.20.2

运行命令：

有 2 个我无法解决的警告：

结果 ：

我在下面粘贴的 giraph 格式的默认 pom .....

我正在使用 Apache Giraph 编写分布式聚类算法。在 compute() 方法中，我需要访问每个邻居发送的值加上当前顶点和发送该消息的邻居之间的边的权重。但是，我在 Giraph 示例中看到的唯一消息类型是单类型消息（DoubleWritable、IntWritable 等），它只能传递值而不能传递发送者信息，

我们如何访问发送者信息或边缘信息？

例如，在上面的代码中，我们可以获得每条消息的值，但我们不知道是哪个节点将此值发送到当前节点。

谢谢，

我正在尝试构建 Giraph。我有以下内容：java 版本“1.7.0_25”、Apache Maven 3.0.4、Hadoop 1.0.4。我正在遵循此页面中的说明： https ://cwiki.apache.org/confluence/display/GIRAPH/Quick+Start+Guide

当我运行： mvn compile 时，我收到以下错误：

我尝试运行 mvn –Phadoop_non_secure compile，但出现以下错误：

我也尝试过在线源存储库，但仍然遇到相同的错误。有人可以帮我解决这个问题吗？

我应该在我的 PATH 和 CLASSPATH 中添加什么？

我编写了自己的计算（MergeComputation）。当我在单个节点上运行我的项目时，我收到错误 java.lang.ClassNotFoundException。

这就是我加载的方式：

我尝试了所有可能的事情：

我的 HADOOP_CLASSPATH：

我收到以下错误

有人可以帮帮我吗。

我尝试运行最新版本的 apache giraph 示例，在快速入门页面 ( http://giraph.apache.org/quick_start.html ) 上进行描述。我使用 CDH 4.4.0（Hadoop 的 Cloudera 发行版）我已经构建了 Giraph，并将依赖项更新到 CDH 4.4.0。一切顺利

当我运行示例时，我得到以下输出

并且作业日志显示异常：

该文件_bsp/_defaultZkManagerDir/job_201310021452_0015/_zkServer有时会被创建，有时不会。

您能否提供任何提示，从哪里开始寻找这个问题。

BR康拉德

我正在尝试构建 Giraph 中包含的 SimpleShortestPathsComputation 示例并从我的主目录中运行它。基本上，我只是想调整 SimpleShortestPaths 示例并毫不费力地运行它（不太确定最好的方法是什么）。我的方法如下：

SimpleShortestPathsComputaiton.java：

我像这样构建它：

这工作正常，我创建了一个名为 SimpleShortestPathsComputation 的 jar 文件。然后我尝试像这样运行它：

但是，这会导致以下结果：

我不太确定我做错了什么。如果有人能指出我正确的方向，或者链接到一个资源来解释我想要完成的更简单的方法，我将不胜感激！

标题几乎概括了它。我试图弄清楚 Giraph 提供了什么样的一致性。是否符合 ACID 标准？是否将其留给 Hadoop 框架？

这是在社交图中找到社区的 louvain 方法。

https://sites.google.com/site/findcommunities/

我想使用 Spark 或 Giraph 等 BSP 方法在大图上运行它。

堆栈交换和 Giraph 的新手，因此请忽略错误并提出任何澄清问题。

操作系统：ubuntu 13.10

Hadoop/Yarn：hadoop-2.2.0/（2 节点集群）

Giraph：1.0.0（编辑：主干）

当我尝试运行以下示例时，我收到了 NullPointerException (NPE)：

$ hadoop jar $GIRAPH_HOME/giraph-examples/target/giraph-examples-1.1.0-SNAPSHOT-for-hadoop-2.2.0-jar-with-dependencies.jar org.apache.giraph.GiraphRunner org.apache.giraph。 examples.SimpleShortestPathsComputation -vif org.apache.giraph.io.formats.JsonLongDoubleFloatDoubleVertexInputFormat -vip /user/hduser/rrdata/tiny_graph.txt -vof org.apache.giraph.io.formats.IdWithValueTextOutputFormat -op /user/hduser/rrdata/输出/tiny_graph.out -w 1

堆栈跟踪：

org.apache.giraph.yarn.GiraphYarnClient.checkJobLocalZooKeeperSupported(GiraphYarnClient.java:460) 处 org.apache.giraph.yarn.GiraphYarnClient.run(GiraphYarnClient.java:116) 处的线程“主”java.lang.NullPointerException 中的异常org.apache.giraph.GiraphRunner.run(GiraphRunner.java:96) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70) at org.apache.hadoop.util.ToolRunner.run(ToolRunner. java:84) 在 org.apache.giraph.GiraphRunner.main(GiraphRunner.java:126) 在 sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 在 sun org.apache.hadoop.util 中的 java.lang.reflect.Method.invoke(Method.java:606) 中的 .reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)。RunJar.main(RunJar.java:212)

似乎与动物园管理员有关。我安装了 zookeeper，但在配置错误之前没有使用它。我已经尝试过-Dgiraph.zkList=hostname:port相关选项，但得到“无法识别的选项”异常。

为这种情况寻找正确的 zookeeper 设置。如果我弄清楚了，我会发布回复。