我一直在尝试使用 spark-exasol 连接器 jar 通过 spark 连接到 exasol。我在我的 emr 集群上使用 Spark 2.4。
下面是用于连接的脚本 (spark_exasol_con_app.py)：
from pyspark.sql import *
sparkSession = SparkSession.builder.getOrCreate()
df = sparkSession\
.read\
.format("exasol")\
.option("host", "<host_name>")\
.option("port", "<port>")
.option("username", "<user_name>")\
.option("password", "<password>")\
.option("query", "SELECT * from <db_name>.<table_name> limit 10")\
.load()
df.show()
下面是我试图运行的命令：
spark-submit --master yarn --jars s3://<bucket>/test/spark-connector_2.12-1.2.0-spark-2.4.8-assembly.jar --packages com.exasol:spark-connector_2.12:1.2.0 --class com.myorg.SparkExasolConnectorApp s3://<bucket>/test/spark_exasol_con_app.py
Spark使用上面编写的命令提交脚本我收到以下错误：
com.exasol#spark-connector_2.12;1.2.0：未找到
在 --packages --class 中分别提交 spark-submit 时可能需要给出的包和类是什么？