0

我创建了一个简单的 golang Apache Beam 管道，它与DirectRunner. 我尝试使用以下命令将其部署在 Spark 集群上： ./bin/spark-submit --master=spark://vm:7077 main.go --runner=SparkRunner --job_endpoint=localhost:8099 --artifact_endpoint=localhost:8098 --environment_type=LOOPBACK --output=/tmp/output

在提交申请之前，我job_endpoint使用以下命令运行：

./gradlew :runners:spark:job-server:runShadow -PsparkMasterUrl=spark://localhost:7077

作业在 Spark 上失败并出现以下错误： WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Exception in thread "main" org.apache.spark.SparkException: Failed to get main class in JAR with error 'null'. Please specify one with --class.

看来我需要指定类参数，但我不明白错误的含义是什么？我能得到帮助吗？

4

1 回答 1

1

spark-submit是一个 Spark 实用程序，它接受 Java JAR 或 Python 脚本。它不知道如何运行 Go 程序。

我用 Spark runner 的说明更新了 Beam Go 快速入门指南。让我知道这是否适合你。

于 2021-03-10T02:46:44.090 回答