scala - 如何从磁盘加载 spark-nlp 预训练模型

Question

我从spark-nlpGithub页面下载了一个.zip包含预训练 NerCRFModel 的文件。zip 包含三个文件夹：嵌入、字段和元数据。

如何将其加载到 ScalaNerCrfModel中以便我可以使用它？我是否必须将其放入 HDFS 或启动 Spark Shell 的主机中？我如何引用它？

Answer 1

您只需要提供您提到的文件夹所在的路径，

import com.johnsnowlabs.nlp.annotators.ner.crf.NerCrfModel
val path = "path/to/unziped/file/folder"
val model = NerCrfModel.read.load(path)
// use your model
model.setInputCols(someCol)
model.transform(yourData) // which contains 'someCol',

只要我记得，您可以将文件夹放在本地FS或分布式FS中，希望这对其他用户也有帮助！

最好的，阿尔贝托。