0

在我的 zeppelin-env.sh 中，我将 JDBC MySQL 连接器加载为 jar，如下所示

export ZEPPELIN_JAVA_OPTS+=" -Dspark.jars=/usr/local/opt/mysql-connector-java/libexec/mysql-connector-java-5.1.32-bin.jar"

此外，我想加载应该以 2（或更多）方式工作的 Databricks CSV 包：

  1. %dep z.load("com.databricks:spark-csv_2.10:1.2.0")
  2. export SPARK_SUBMIT_OPTIONS="--packages com.databricks:spark-csv_2.10:1.2.0"

第一个在设置no SPARK_HOME时工作，但仅在设置外部 Spark home时才SPARK_SUBMIT_OPTIONS考虑。

如何在不设置的情况下加载 databricks CSV 包，或者如何在不设置的情况下加载使用嵌入式 Spark 库时包含的所有其他 jar ？SPARK_HOMESPARK_HOME

实际上，我更喜欢使用可以独立于 Zeppelin 进行更新的单独 Spark 安装，但是我担心在坚持使用嵌入式 Spark 时不会出现不兼容问题。

4

1 回答 1

0

所以我确实使用外部 Spark 安装设置了 SPARK_HOME，这似乎更快，并且非常容易安装 w/ brew install apache-spark。

我猜阅读文档会有所帮助

只需添加一个--jarsSPARK_SUBMIT_OPTIONS 选项，您可以在其中指定要加载的 JAR。或者，创建一个SPARK_HOME/conf/spark-defaults.conf文件，在其中指定要加载的文件、包和 jar。

于 2015-11-14T10:12:57.503 回答