我使用 PySpark 2.4 已经有一段时间了。Spark 安装在我的系统中/usr/local/spark。pyspark当我输入命令行时,我突然看到错误。
Failed to find Spark jars directory (/assembly/target/scala-2.12/jars).
You need to build Spark with the target "package" before running this program.
系统操作系统 = CentOS 7
我安装了 Python 2.7 和 Python3.6。但是,当我安装 spark 时,我将 Python 3.6 设置为默认值。
每天都有几个 cronjobs 运行(并且有时已经运行了很长时间)pyspark。恐怕像上面这样的错误可能会阻碍运行这些 crons。请在这点上点灯。