hadoop - PageRankBenchmark - 减少到 0% - Giraph 示例

Question

我正在使用 PageRankBenchmark 示例测试我的单节点集群 Giraph 安装，方法如下：

$HADOOP_HOME/bin/hadoop jar   /usr/local/hadoop/share/hadoop/mapreduce/giraph-examples-1.1.0-for-hadoop-2.4.0-jar-with-dependencies.jar org.apache.giraph.benchmark.PageRankBenchmark -v -V 1000 -e 1 -s 5 -w 1

但是在映射器完成他们的工作之后，reducer 不会启动（根据控制台，map 100% reduce 0%）。这是该算法的适当行为吗？

如果一个 mapper 被执行，reducer 必须开始将 map 的输出作为输入并完成工作（至少，在互联网上许多 PageRank 算法的其他实现中，总是有一个“Reducer”）。但是我用谷歌搜索它，并且总是 PageRankBenchmark giraph 示例在该算法的几个结果中以 Reduce 结尾，由其他人运行。

所以，我现在不知道在 PageRankBenchmark 中是否可以，我希望有人可以在这里帮助我；）

我正在使用 hadoop 2.4，带有 Phadoop_yarn 配置文件和 Giraph 1.1.0。

根据我阅读的其他几个问题，“减少 0% 卡住”问题的主要问题，它可能在映射器日志中，但我在那里找不到任何东西（我也在附上它们）。

这是我的日志：

• 主控制台日志。
• 第一个映射器
• 第二映射器

干杯!

Answer 1

Giraph 遵循仅地图范式。换句话说，每个工作人员都与一个地图任务相关联。所有计算都在地图任务中执行，地图任务之间的通信以发送/接收消息是通过使用zookeeper完成的。因此，它不同于传统的 map-reduce 编程范式，后者将映射输出传输到 reducer。因此，没有reduce任务，也没有map输出。