0

您要使用的包是 spark-redis。

pyspark --master yarn  --packages com.redislabs:spark-redis:2.4.1 

上面的 pyspark-shell 允许你使用 spark-redis 包,但是如果你使用 spark-submit 传递包

/usr/bin/spark-submit /var/lib/jupyter/Spark2/test_redis.py --packages com.redislabs:spark-redis:2.3.0

: java.lang.ClassNotFoundException: Failed to find data source: org.apache.spark.sql.redis. Please find packages at http://spark.apache.org/ third-party-projects.html

我收到一条错误消息。为什么是这样?

4

0 回答 0