apache-spark - 基于 Apache Spark 构建的 John Snow Labs 的 NLP 库是否支持 Java

Question

John Snow Labs 的 NLP 库建立在 Apache Spark 和 Spark ML 库之上。它的所有示例都在scala 和 python中提供。支持java吗？如果是，我在哪里可以找到相关指南？如果没有，有计划支持 java 吗？

Answer 1

一般来说，如果 Scala 库的 API（不是实现）公开了没有 Java 等效功能的功能，则只需要专用的 Java API。不幸的是，标准 Scala 函数类型就是一个例子，至少在 Scala 2.12 和 Java 8 之前是这样。例如，Spark 大量使用ClassTags 和隐式，这使得很难直接从 Java 中使用。

但是这个库是基于 Spark ML 的，它没有单独的 Java API，并且从快速浏览来看，似乎不需要一个（至少对于DataFrame基于新的 API）。您可以在https://spark.apache.org/docs/2.3.0/ml-pipeline.html中查看其 Java 示例。

所以 NLP 库只创建 和其他 Spark ML 类型的实例Transformer，Pipeline创建它们的代码可以轻松地转换为 Java。您只需要知道Array(...)对应于new T[] { ... }（T参数的类型在哪里）。由此看来，它似乎不需要 Java API，即使它可以从提供 Java 示例中受益。不幸的是，它似乎甚至没有提供 Scaladoc 链接，因此我可以查看 API 中是否存在从 Java 使用有问题的东西。