apache-spark - 为 spark-shell 设置默认包变量

Question

我试图启动 spark-shell，默认情况下具有由环境变量设置的包变量。

正常的执行命令是 spark-shell --packages com.databricks:spark-csv_2.11:1.3.0

我想避免写总是--packages com.databricks:spark-csv_2.11:1.3.0设置一个变量

为了做到这一点，我可以设置哪个变量？

Answer 1

您可以添加行

spark.jars.packages  com.databricks:spark-csv_2.11:1.3.0

进入你的火花配置文件：

$SPARK_HOME/conf/spark-defaults.conf

注意：这将影响任何 spark 应用程序，而不仅仅是 spark-shell。
在spark 文档中查看更多信息。