1

我正在使用 AWS 笔记本。我可以在没有第三方库依赖的情况下运行正常的基于 scala 的 spark 作业。但我想加载一些常见的库，如 typesafe-config、mysql-connector 等。

如何在 AWS 上的 scala spark notebook 中添加这些库依赖项？

我尝试在笔记本的第一个单元格中添加这些片段，但都没有奏效

 %%configure -f
    {
        "conf": {
            "spark.jars": "s3://bucket-xxx/jars/lib/config-1.3.1.jar"
        }
    }

也

%%configure -f
{
"conf": {"spark.jars.packages": "com.typesafe:config:1.3.1,mysql:mysql-connector-java:8.0.17"},

"jars": ["s3://bucket-xxx/jars/lib/"]

}

都抛出了错误

控制台>：29：错误：对象 ConfigFactor 不是包 com.typesafe.config 导入 com.typesafe.config.ConfigFactor 的成员

当我尝试导入类型安全配置时

import com.typesafe.config.ConfigFactor

我还尝试在笔记本元数据中添加 Maven 坐标为

"customDeps": [
        "com.typesafe:config:1.3.1"
    ]

并得到

错误：对象类型安全不是包 com 导入 com.typesafe.config.ConfigFactor 的成员

4

1 回答 1

2

您在导入行中有错字，应该是

import com.typesafe.config.ConfigFactory

此外，Jupyter 笔记本中需要此单元格

%%configure -f 
{
  "jars": ["s3://test/libs/config-1.3.1.jar"],
  "conf": {"spark.jars.packages": "com.typesafe:config:1.3.1"}
}

我希望它会有所帮助。

于 2019-11-14T15:09:57.510 回答