scala - 当我尝试在 Scala 中运行 John Snow spark-nlp 示例时，我得到“任务不可序列化”

Question

我一直在尝试从这个存储库运行 John Snow Spark-NLP 示例：

https://github.com/JohnSnowLabs/spark-nlp/blob/master/example/src/TrainViveknSentiment.scala

在我的本地机器上。但是org.apache.spark.SparkException: Task not serializable当它到达val sparkPipeline = pipeline.fit(training)堆栈时它会抛出错误它还说Caused by: java.io.NotSerializableException: com.johnsnowlabs.nlp.annotators.param.AnnotatorParam$SerializableFormat$

Answer 1

我可能错了，但据我研究，Seq 可能是不可序列化的特征。因此，使用 Array 或 List 来构建不可变变量训练应该可以解决问题。