1

如何在没有互联网连接的情况下安装离线 Spark NLP 包。我已下载包 ( recognizee_entities_dl) 并将其上传到集群。

我已经使用pip install spark-nlp==2.5.5. 我正在使用 PySpark，但无法从集群下载软件包。

已经尝试过；

pipeline = PretrainedPipeLine.from_disk('/path/to/recognize_entities_dl')
pipeline = PretrainedPipeLine.load('/path/to/recognize_entities_dl')

错误：

'PretrainedPipeline' has no attribute 'load'

Input path does not exist:
    hdfs://...../recognize_entities_dl_en_2.4.3_2.4_1584626752821/metatdata
4

1 回答 1

1

查看您的错误：

 hdfs://...../recognize_entities_dl_en_2.4.3_2.4_1584626752821/metatdata

metatdata您应该通过删除一个额外的“t”来更改为元数据。

此外，您在“recognize_entities_dl_en_ 2.4.3 _2.4_1584626752821”中看到2.4.3

这表明它适用于Spark NLP 2.4.3

但是，在问题中，您提到您正在使用，

spark-nlp==2.5.5

哪个没关系，只要

2.5.5 >= 2.4.3

但有时它会导致问题。

在“recognize_entities_dl_en_2.4.3_ 2.4 _1584626752821”中也是2.4

这表明它适用于Apache Spark 2.4

针对 Apache Spark 2.4.x 构建和编译的 Spark NLP 库。这就是模型和管道仅适用于 2.4.x 版本的原因。

于 2020-08-26T14:00:16.123 回答