问题标签 [giraph]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
1029 浏览

hortonworks-data-platform - Hortonworks HDP2.0 + giraph

我在 Windows 8.1 平台的沙盒(最近安装)中运行了 hortonworks HDP2.0。我需要学习如何让 giraph 与 HDP 2.0 一起工作。

我认为,giraph 目前没有默认安装 HDP 2.0。有人可以帮助我安装 giraph 并指出一些关于动手编码教程的资源。

0 投票
2 回答
37069 浏览

ssh - .ppk 和 .pem 有什么区别。.pem 存储在亚马逊 ec2 集群中的哪个位置?

我正在使用 Amazon 的 EC2 集群来运行 GraphLab。他们想要我的.pem文件的位置,也就是我的私钥。

搜索后我仍然无法在 ubuntu 中找到该文件。我正在使用腻子。

0 投票
1 回答
309 浏览

apache - apache giraph 编译错误(从主干构建)

我已经在我的机器上安装了 hadoop,但我无法构建它。感谢您调查它。

0 投票
1 回答
25 浏览

apache - CDH4 上的 giraph1.0 和 JDK1.6

我可以在 CDH4 上安装 giraph1.0 并使用 JDK1.6 作为我的默认 java 安装吗?

我收到类似这样的错误:JDK1.6 version is below JDK1.7

然后安装失败

0 投票
1 回答
1120 浏览

hadoop - EMR 上的 Apache Giraph

有没有在 EMR 上尝试过 Apache Giraph?

在我看来,在 EMR 上运行的唯一要求是将适当的引导脚本添加到 Job Flow 配置中。然后我只需要使用标准的自定义 JAR 启动步骤来启动 Giraph Runner,并为我的 Giraph 程序提供适当的参数。

任何文档/教程,或者如果您可以分享您在 EMR 上使用 Giraph 的经验,我们将不胜感激。

0 投票
1 回答
337 浏览

giraph - 将消息发送到 giraph 中的传入边缘

有没有办法将消息发送到 giraph 中的传入边缘?或者,有没有办法通过任何特定的边缘(类型或标签等)发送消息,而不是向所有传出边缘发送消息?

0 投票
1 回答
110 浏览

memory - giraph 作业完成后不会释放内存

我在 Hadoop 版本 0.20.203 上使用 Apache Giraph 版本 1.0。它执行 ConnectedComponentsVertex 和 SimpleShortetPathsVertex,apache giraph 的例子,作业成功,但存在问题。作业完成后,内存不会被释放。正如系统监视器所示,为作业创建的 java 进程仍然有效。我不明白为什么会出现这个问题。是 Giraph 的错误还是我做错了什么???我正在使用 Ubuntu 11.10 和 java 1.6。任何帮助,将不胜感激。

谢谢

0 投票
1 回答
193 浏览

cloudera-manager - 哪个版本的CDH使用Cloudera Manager自动安装JDK1.7?

我将 Cloudera Manager 与 CDH4.2.2 一起用于我的 3+1 集群。在使用 cloudera manager 开始安装时,它会自动下载并安装 JDK1.6。为了方便起见,我想将 JDK1.7 与 CDH 一起使用。是否有可能或者是否有任何版本的 CDH 在集群中安装 Hadoop 时会自动下载并安装并成功运行 JDK1.7 的 Hadoop?

如果是,我可以知道它是哪个版本的 CDH,我可以从哪里下载它?

我想使用 JDK1.7 而不是 1.6,因为我想在 CDH 上安装 Apache Giraph,但 Giraph 似乎不适合 JDK1.6,需要 JDK1.7。

带着敬意,

0 投票
1 回答
738 浏览

hadoop - Giraph ZooKeeper 端口问题

我正在尝试运行Giraph Quick Start中描述的 SimpleShortestPathsVertex(又名 SimpleShortestPathComputation)示例。我正在使用 VirtualBox 在 Hortonworks Sandbox 实例 (HDP 2.1) 上运行它,并使用配置文件 hadoop_2.0.0 打包 giraph.jar。

当我尝试使用运行示例时

我得到以下异常

我找到了一个解决方法 - 似乎 Giraph 期望 ZooKeeper 在端口 22181 上运行,而它实际上在 2181 上运行。我只是使用 Ambari 界面将 ZooKeeper 设置为在 22181 上运行(转到http://127.0.0.1:8080/,登录 admin/admin ,Services选项卡,ZooKeeper并将端口更改为22181,保存并Service Actions -> Restart All。

有没有人对这个问题有更好的解决方案?是否有应该指定端口的配置,或者 Giraph 源代码中的这个端口是错字?

0 投票
0 回答
332 浏览

graph - 将 Apache Giraph 用作具有大量数据的 Neo4j

我正在尝试对 Neo4j 进行一些测试,以计算 2 个节点之间的最短路径。

  1. 有 10 万个节点和 1000 万条边(每个节点 100 条边),最短路径算法在 0.4-3 秒内运行
  2. 有 200k 个节点和 4000 万条边(每个节点 200 条边),至少需要 40 秒或更长时间。

我的电脑显然不是用于大数据分析的,但我什至不知道购买一台 128GB 内存的服务器是否可以在合理的时间内解决第二次测试。(你觉得可以吗?)

当然有 100 万个或更多节点,neo4j 将不再帮助我。我花了很多时间在网上寻找使用像 Neo4J 这样的 Giraph 的方法:拥有某种 API(甚至在 java 中),通过它我可以运行查询并输出结果。但是什么都没有。。

提前致谢