问题标签 [giraph]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
1087 浏览

apache - 无法运行 Giraph SimpleInDegreeCountComputation

我正在尝试运行 Giraph 中包含的 SimpleInDegreeCountComputation 示例。我的方法如下:

SimpleInDegreeCountComputation.java:

然后我尝试像这样运行它:

结果如下:

我不太确定我做错了什么。如果有人能指出我正确的方向,或者链接到一个资源来解释我正在尝试做的更简单的方法,我将不胜感激!我认为问题可能是错误的格式(-vif)。我正在使用的输入文件如下:

0 投票
2 回答
1093 浏览

java - Giraph 的 Eclipse 设置

我是 java 和 Eclipse 的初学者。我想知道如何准备 Eclipse 来制作 Giraph 程序?我已经设置了 Giraph 并且它正在工作。有没有办法在 Giraph 上从 Eclipse 运行书面程序?

谢谢

0 投票
1 回答
187 浏览

git - 使用 Maven 编译使用旧版本 Giraph 的项目

我有一个项目是从另一个小组开发的,并使用旧版本的 Giraph。

该项目是基于 Giraph 项目本身制作的;项目结构和文件与 Giraph 完全相同,只是在 giraph-examples 中定义了一些用于更复杂的 map-reduce 图操作的 .java 源。由于该项目是 Giraph 项目的扩展,因此使用 Maven 编译和打包该项目,这也是 Giraph 项目的构建工具。

我找不到这个项目究竟基于什么版本的 Giraph,但我可以发现编译这个项目需要 0.2-SNAPSHOP 的 giraph-parent,而且它已经很老了。

当前的问题是我尝试 mvn verify 时出错;屏幕上打印的 mvn 消息如下:

我也可以在同一环境中使用 Maven 成功编译/打包最近的 Giraph(来自官方主页)。错误消息说我的项目文件夹中没有 .git 文件夹,但只有 .svn 文件夹。有人能准确地找出这个错误的原因吗?

谢谢

0 投票
0 回答
141 浏览

configuration - giraph 中的核心消息配置

我正在使用 pregel,我注意到当工作完成时,它们不会释放内存。所以我搜索并知道最新版本“版本:1.1.0-SNAPSHOT”没有这个问题所以我从apache giraph下载了最新版本的giraph。在我的算法中产生的消息数量很多,因为它们都在内存中,所以我的 ram 变满了。所以我搜索了问题并找到了核心消息配置。我想设置“giraph.useOutOfCoreMessages=true”,但这个配置在最新版本中不存在。有什么问题?谢谢。

0 投票
1 回答
113 浏览

eclipse - 找不到导入的 Giraph 包的 jars

我试图从 Eclipse 运行 SSSP giraph 程序。但我无法导入以下包

我已按照 giraph 站点中的说明构建 Giraph 和 Hadoop。应该导入哪个jar来获取上面的包?

0 投票
1 回答
40 浏览

hadoop - 如何在Hadoop中处理一个大文件?

这是一个菜鸟问题

我有一个 hadoop 设置并考虑使用 Giraph 或 Hama 进行基于图形的计算。我的表格中有一个大文件

3 4 3 7 3 8 5 6

其中每一列表示顶点,每一行表示边。对于普通程序,我将整个文件读入如下形式

3:[4,7,8] 5:[6]

这意味着顶点 3 的边数为 4、7、8,而 5 的边数为 6。

如何处理 Hadoop 中大文件的这种情况?像这样阅读意味着将全部内容加载到 RAM 中?在 Hadoop 中执行此操作的最佳方法是什么?

0 投票
1 回答
186 浏览

java - InputFormat 中的 Giraph 聚合器

我正在使用 Giraph 运行一些基本示例,并且我想验证我的EdgeInputFormat. 在经典的 MapReduce 工作中,我可以使用 Counters 来做到这一点,而 Giraph 为此使用聚合器。(https://giraph.apache.org/aggregators.html

网站上说聚合器应该在master上注册。我编写的唯一代码是一个扩展BasicComputation并实现了 compute() 方法的类。有人可以指出我应该在哪里注册它们以及在读取数据时如何使用它们?

0 投票
1 回答
641 浏览

hadoop - 在 hadoop 2.3.0-cdh-5.0 上的 Giraph1.1.0 上执行示例显示以下错误

0 投票
1 回答
250 浏览

java - 运行显示以下错误的 Giraph 作业

INFO zookeeper.ClientCnxn:打开到服务器 debashis-Pseudo-Hadoop/127.0.1.1:22181 的套接字连接。不会尝试使用 SASL 进行身份验证(未知错误)

14/06/17 13:07:28 WARN zookeeper.ClientCnxn:服务器空会话 0x0,意外错误,关闭套接字连接并尝试重新连接

java.net.ConnectException:连接被拒绝

在 sun.nio.ch.SocketChannelImpl.checkConnect(Native Method) 在 sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:735) 在 org.apache.zookeeper.ClientCnxnSocketNIO.doTransport(ClientCnxnSocketNIO.java:350) 在 org .apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:1068)

0 投票
2 回答
340 浏览

cloudera - 如何在 Giraph 中打印调试语句

我在打印日志语句之前找到了以下语句。 if (LOG.isDebugEnabled()) 在运行 Giraph 程序时,我们如何启用或禁用调试语句?在哪里可以找到这些语句的日志?