apache-spark - 在 Spark 中创建 UDF

Question

我正在尝试使用 geomesa-spark-jts 在 spark 中创建一个永久功能。Geomesa-spark-jts 在更大的 LocationTech 社区中具有巨大的潜力。我首先下载了包含以下内容的 geomesa-spark-jts

之后我像这样启动了火花（我确保罐子在路径内）

现在我使用该软件包附带的 ST_Translate，它确实给了我一个结果

但问题是当我尝试将 ST_Translate 定义为 UDF 时，出现以下错误

Answer 1

该geomesa-accumulo-spark-runtimejar 是一个带阴影的 jar，其中包含来自geomesa-spark-jts. 您可能会遇到在两个不同的 jar 中定义类的问题。

Answer 2

您提到的功能已在 GeoMesa 2.0.0 for Spark 2.2.0 中得到支持。 http://www.geomesa.org/documentation/user/spark/sparksql_functions.html

Answer 3

为了st_translate与 hive 一起使用，我相信您必须实现一个扩展org.apache.hadoop.hive.ql.exec.UDF和调用 GeoMesa 函数的新类。