我只是想在本地 spark 设置中执行 Apache Beam 示例代码。如本页所述,我生成了源代码并构建了包。并使用 spark-submit 提交 jar,如下所示,
$ ~/spark/bin/spark-submit --class org.apache.beam.examples.WordCount --master local target/word-count-beam-0.1.jar --runner=SparkRunner --inputFile=pom.xml --output=counts
代码被提交并开始执行。但卡在 step Evaluating ParMultiDo(ExtractWords)
。以下是提交作业后的日志。
我无法找到任何错误消息。有人可以帮忙找出问题所在吗?
编辑:我也尝试使用以下命令,
~/spark/bin/spark-submit --class org.apache.beam.examples.WordCount --master spark://Quartics-MacBook-Pro.local:7077 target/word-count-beam-0.1.jar --runner=SparkRunner --inputFile=pom.xml --output=counts
该作业现在停留在INFO BlockManagerMasterEndpoint: Registering block manager 192.168.0.2:59049 with 366.3 MB RAM, BlockManagerId(0, 192.168.0.2, 59049, None)
. 下面附上 Spark History & Dashboard 的屏幕截图。仪表板显示作业正在运行,但没有任何进展。