python - 无法让 Spark NLP 在 Databricks 上工作

Question

我做了以下事情：

import pyspark
from pyspark.sql import SparkSession

from pyspark import SparkContext, SparkConf, SQLContext

spark = SparkSession \
    .builder \
    .appName('Amazon ETL') \
    .config('spark.jars.packages', 'com.johnsnowlabs.nlp:spark-nlp_2.11:2.4.5') \
    .getOrCreate()

加...

import sparknlp
from sparknlp.annotator import *

我收到此错误消息： 错误消息

任何帮助将非常感激！

谢谢， 开尔文

Answer 1

sparknlp我通过使用maven安装lib来预安装JAVA依赖项解决了这个问题。

在 Cluster-Libraries 部分中，选择install new，然后选择maven，然后输入 com.johnsnowlabs.nlp:spark-nlp_2.11:2.5.0