apache-spark - 如何在不分叉/修改 Spark 本身的情况下创建自定义 Spark-Native 函数

Question

我正在考虑将一些 UDF/UDAF 转换为 Spark-Native 函数以利用 Catalyst 和 codegen。

查看一些示例（例如： Levenshtein 的https://github.com/apache/spark/pull/7214/files），似乎我们需要将这些函数添加到 Spark 框架本身（即通过 FunctionRegistry.scala）。

有没有办法在“用户空间”中添加自定义 Spark-Native 函数，即无需分叉/修改实际的 Spark 代码库？

谢谢！