您要使用的包是 spark-redis。
pyspark --master yarn --packages com.redislabs:spark-redis:2.4.1
上面的 pyspark-shell 允许你使用 spark-redis 包,但是如果你使用 spark-submit 传递包
/usr/bin/spark-submit /var/lib/jupyter/Spark2/test_redis.py --packages com.redislabs:spark-redis:2.3.0
: java.lang.ClassNotFoundException: Failed to find data source: org.apache.spark.sql.redis. Please find packages at http://spark.apache.org/ third-party-projects.html
我收到一条错误消息。为什么是这样?