1

我对 Zeppelin/spark 非常陌生，无法准确描述配置新依赖项（如 NLP 库）的步骤。在这里发现了类似的问题。

我试图在 Zeppelin 笔记本（spark version2.2.1）中使用 Johnsnowlabs NLP 库。设置包括：

  1. 在 Zeppelin 的 Spark 解释器配置中，包括以下工件：com.johnsnowlabs.nlp:spark-nlp_2.11:2.5.4
  2. 然后，在 conf/zeppelin-env.sh 中，设置 SPARK_SUBMIT_OPTIONS。export SPARK_SUBMIT_OPTIONS=” — 包 JohnSnowLabs:spark-nlp:2.2.2”。然后重新启动 Zeppelin。

但是下面的程序给出了错误：

%spark
import com.johnsnowlabs.nlp.base._
import com.johnsnowlabs.nlp.annotator._

<console>:26: error: object johnsnowlabs is not a member of package com
       import com.johnsnowlabs.nlp.base._
                  ^
<console>:27: error: object johnsnowlabs is not a member of package com
       import com.johnsnowlabs.nlp.annotator._

有人可以分享如何做到这一点吗？我提到了这个链接。TIA

4

1 回答 1

0

您无需编辑conf/zeppelin-env.sh（无论如何您使用不正确，因为您指定了完全不同的版本），您可以通过 Zeppelin UI 进行所有更改。转到 Spark 解释器配置，并将其com.johnsnowlabs.nlp:spark-nlp_2.11:2.5.4放入spark.jars.packages配置属性（如果不存在，则添加它），然后放入Dependencies配置末尾（由于某种原因，它不会自动拉入驱动程序类路径）。

于 2020-07-28T12:40:58.313 回答