-3

我只是想在本地 spark 设置中执行 Apache Beam 示例代码。如本页所述,我生成了源代码并构建了包。并使用 spark-submit 提交 jar,如下所示,

$ ~/spark/bin/spark-submit --class org.apache.beam.examples.WordCount --master local target/word-count-beam-0.1.jar --runner=SparkRunner --inputFile=pom.xml --output=counts

代码被提交并开始执行。但卡在 step Evaluating ParMultiDo(ExtractWords)。以下是提交作业后的日志。

我无法找到任何错误消息。有人可以帮忙找出问题所在吗?

编辑:我也尝试使用以下命令,

~/spark/bin/spark-submit --class org.apache.beam.examples.WordCount --master spark://Quartics-MacBook-Pro.local:7077 target/word-count-beam-0.1.jar --runner=SparkRunner --inputFile=pom.xml --output=counts

该作业现在停留在INFO BlockManagerMasterEndpoint: Registering block manager 192.168.0.2:59049 with 366.3 MB RAM, BlockManagerId(0, 192.168.0.2, 59049, None). 下面附上 Spark History & Dashboard 的屏幕截图。仪表板显示作业正在运行,但没有任何进展。

在此处输入图像描述 在此处输入图像描述

4

1 回答 1

0

这只是一个版本问题。我能够在 Spark 1.6.3 中运行该作业。感谢所有在没有解释的情况下对这个问题投了反对票的人。

于 2017-08-18T11:15:45.377 回答