问题标签 [giraph]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hortonworks-data-platform - Hortonworks HDP2.0 + giraph
我在 Windows 8.1 平台的沙盒(最近安装)中运行了 hortonworks HDP2.0。我需要学习如何让 giraph 与 HDP 2.0 一起工作。
我认为,giraph 目前没有默认安装 HDP 2.0。有人可以帮助我安装 giraph 并指出一些关于动手编码教程的资源。
ssh - .ppk 和 .pem 有什么区别。.pem 存储在亚马逊 ec2 集群中的哪个位置?
我正在使用 Amazon 的 EC2 集群来运行 GraphLab。他们想要我的.pem
文件的位置,也就是我的私钥。
搜索后我仍然无法在 ubuntu 中找到该文件。我正在使用腻子。
apache - apache giraph 编译错误(从主干构建)
我已经在我的机器上安装了 hadoop,但我无法构建它。感谢您调查它。
apache - CDH4 上的 giraph1.0 和 JDK1.6
我可以在 CDH4 上安装 giraph1.0 并使用 JDK1.6 作为我的默认 java 安装吗?
我收到类似这样的错误:JDK1.6 version is below JDK1.7
然后安装失败
hadoop - EMR 上的 Apache Giraph
有没有在 EMR 上尝试过 Apache Giraph?
在我看来,在 EMR 上运行的唯一要求是将适当的引导脚本添加到 Job Flow 配置中。然后我只需要使用标准的自定义 JAR 启动步骤来启动 Giraph Runner,并为我的 Giraph 程序提供适当的参数。
任何文档/教程,或者如果您可以分享您在 EMR 上使用 Giraph 的经验,我们将不胜感激。
giraph - 将消息发送到 giraph 中的传入边缘
有没有办法将消息发送到 giraph 中的传入边缘?或者,有没有办法通过任何特定的边缘(类型或标签等)发送消息,而不是向所有传出边缘发送消息?
memory - giraph 作业完成后不会释放内存
我在 Hadoop 版本 0.20.203 上使用 Apache Giraph 版本 1.0。它执行 ConnectedComponentsVertex 和 SimpleShortetPathsVertex,apache giraph 的例子,作业成功,但存在问题。作业完成后,内存不会被释放。正如系统监视器所示,为作业创建的 java 进程仍然有效。我不明白为什么会出现这个问题。是 Giraph 的错误还是我做错了什么???我正在使用 Ubuntu 11.10 和 java 1.6。任何帮助,将不胜感激。
谢谢
cloudera-manager - 哪个版本的CDH使用Cloudera Manager自动安装JDK1.7?
我将 Cloudera Manager 与 CDH4.2.2 一起用于我的 3+1 集群。在使用 cloudera manager 开始安装时,它会自动下载并安装 JDK1.6。为了方便起见,我想将 JDK1.7 与 CDH 一起使用。是否有可能或者是否有任何版本的 CDH 在集群中安装 Hadoop 时会自动下载并安装并成功运行 JDK1.7 的 Hadoop?
如果是,我可以知道它是哪个版本的 CDH,我可以从哪里下载它?
我想使用 JDK1.7 而不是 1.6,因为我想在 CDH 上安装 Apache Giraph,但 Giraph 似乎不适合 JDK1.6,需要 JDK1.7。
带着敬意,
hadoop - Giraph ZooKeeper 端口问题
我正在尝试运行Giraph Quick Start中描述的 SimpleShortestPathsVertex(又名 SimpleShortestPathComputation)示例。我正在使用 VirtualBox 在 Hortonworks Sandbox 实例 (HDP 2.1) 上运行它,并使用配置文件 hadoop_2.0.0 打包 giraph.jar。
当我尝试使用运行示例时
我得到以下异常
我找到了一个解决方法 - 似乎 Giraph 期望 ZooKeeper 在端口 22181 上运行,而它实际上在 2181 上运行。我只是使用 Ambari 界面将 ZooKeeper 设置为在 22181 上运行(转到http://127.0.0.1:8080/
,登录 admin/admin ,Services选项卡,ZooKeeper并将端口更改为22181,保存并Service Actions -> Restart All。
有没有人对这个问题有更好的解决方案?是否有应该指定端口的配置,或者 Giraph 源代码中的这个端口是错字?
graph - 将 Apache Giraph 用作具有大量数据的 Neo4j
我正在尝试对 Neo4j 进行一些测试,以计算 2 个节点之间的最短路径。
- 有 10 万个节点和 1000 万条边(每个节点 100 条边),最短路径算法在 0.4-3 秒内运行
- 有 200k 个节点和 4000 万条边(每个节点 200 条边),至少需要 40 秒或更长时间。
我的电脑显然不是用于大数据分析的,但我什至不知道购买一台 128GB 内存的服务器是否可以在合理的时间内解决第二次测试。(你觉得可以吗?)
当然有 100 万个或更多节点,neo4j 将不再帮助我。我花了很多时间在网上寻找使用像 Neo4J 这样的 Giraph 的方法:拥有某种 API(甚至在 java 中),通过它我可以运行查询并输出结果。但是什么都没有。。
提前致谢