2

我正在将播放应用程序提交给 spark 2.1 独立集群。在游戏中还添加了应用程序 postgres 依赖项，并且应用程序在本地 spark 库上工作。但是在独立集群上运行时，它给了我错误：

o.a.s.s.TaskSetManager - Lost task 0.0 in stage 0.0 (TID 1, 172.31.21.3, executor 1): java.lang.ClassNotFoundException: org.postgresql.Driver

我已将以下内容放在 spark-defaults.conf 目录中

spark.executor.extraClassPath   /home/ubuntu/downloads/postgres/postgresql-9.4-1200-jdbc41.jar 
spark.driver.extraClassPath     /home/ubuntu/downloads/postgres/postgresql-9.4-1200-jdbc41.jar

仍然执行者无法选择驱动程序。我错过了什么吗？需要帮忙 。谢谢。

4

1 回答 1

1

将 postgresql-9.4-1200-jdbc41.jar 放入您的 SPARK_DIRECTORY/jars 文件夹并重新启动 spark 集群

于 2017-04-04T10:31:59.400 回答