scala - 未找到：值 udf 错误

Question

我在我的代码中定义了一个 udf，如下所示：

val toOriginalTimestamp = udf((timestamp: String) => timestamp.substring(0, 18))

我正在尝试在我的数据集中获取时间戳字段的子字符串。但是我收到了未找到的错误：value udf

我究竟做错了什么？

Answer 1

你可能需要这个：

import org.apache.spark.sql.functions.udf

此外，请确保您使用的是 spark-sql（不仅仅是 spark-core！）1.3 或更高版本的依赖项。