1

我使用带有 Java 的 Spark 1.6.0。

我想注销 Spark UDF。有没有办法删除临时表sqlContext.drop(TemporaryTableName)？

    sqlContext.udf().register("isNumeric", value -> {
        if(StringUtils.isNumeric((String)value)) {
            return 1;
        } else {
            return 0;
        }
    }, DataTypes.IntegerType);

sqlContext.functionRegistry().listFunction().toSet().toString()

我试图从当前的 sqlContext 中获取所有函数（包括我们定义的 UDF），它可以工作，但是有没有办法取消注册自定义 UDF 'isNumeric'

4

1 回答 1

2

可以通过执行以下 SQL 取消注册 udf。

spark.sql("drop temporary function isNumeric")

下面的代码片段显示了创建 UDF 和删除 UDF。

scala> spark.udf.register("test", (value: String) => value.toInt)
res16: org.apache.spark.sql.expressions.UserDefinedFunction = UserDefinedFunction(<function1>,IntegerType,Some(List(StringType)))

scala> spark.catalog.listFunctions.filter(_.name == "test").collect
res17: Array[org.apache.spark.sql.catalog.Function] = Array(Function[name='test', className='null', isTemporary='true'])

scala> spark.sql("drop temporary function test")
res18: org.apache.spark.sql.DataFrame = []

scala> spark.catalog.listFunctions.filter(_.name == "test").collect
res19: Array[org.apache.spark.sql.catalog.Function] = Array()

火花 1.6v：

scala> sqlContext.sql("drop temporary function test")
{"level": "INFO ", "timestamp": "2017-06-09 05:43:44,650", "classname": "hive.ql.parse.ParseDriver", "body": "Parsing command: drop temporary function test"}
{"level": "INFO ", "timestamp": "2017-06-09 05:43:44,650", "classname": "hive.ql.parse.ParseDriver", "body": "Parse Completed"}
{"level": "INFO ", "timestamp": "2017-06-09 05:43:44,655", "classname": "hive.ql.parse.ParseDriver", "body": "Parsing command: drop temporary function test"}
{"level": "INFO ", "timestamp": "2017-06-09 05:43:44,656", "classname": "hive.ql.parse.ParseDriver", "body": "Parse Completed"}
res7: org.apache.spark.sql.DataFrame = [result: string]
于 2017-06-09T05:10:08.467 回答