0

我有一个要在 spark shell 中使用的库，如何添加这个库以便可以从 spark shell 访问？sbt：

resolvers += Resolver.bintrayRepo("unsupervise", "maven")
libraryDependencies += "com.github.unsupervise" %% "spark-tss" % "0.1.1"

行家：

<dependencies>
<!-- Other Dependencies -->
    <dependency>
        <groupId>com.github.unsupervise</groupId>
        <artifactId>spark-tss_2.11</artifactId>
        <version>0.1.1</version>
    </dependency>
</dependencies>
<repositories>
<!-- Other Repositories ... -->
    <repository>
        <id>bintrayunsupervisemaven</id>
        <name>bintray-unsupervise-maven</name>
        <url>https://dl.bintray.com/unsupervise/maven/</url>
        <layout>default</layout>
    </repository>
</repositories>
4

2 回答 2

2

使用repositories和packages参数。

spark-shell \
  --repositories "https://dl.bintray.com/unsupervise/maven" \
  --packages "com.github.unsupervise:spark-tss_2.11:0.1.1"
于 2020-04-29T15:44:22.300 回答
1

当您在本地有罐子时：

./spark-shell --jars pathOfjarsWithCommaSeprated

当二进制工件（jar）通过像 Maven 或 Nexus 这样的工件存储库进行管理时，您将使用像group id、artifact id和version这样的工件坐标。

参考：http//spark.apache.org/docs/latest/rdd-programming-guide.html#using-the-shell

./bin/spark-shell --master local[4] --packages "com.github.unsupervise:spark-tss_2.11:0.1.1"

于 2020-04-29T15:07:05.410 回答