0

我正在尝试将数组转换为 Decimal(30,0) 以便在动态选择中使用：

WHERE array_contains(myArrayUDF(), someTable.someColumn)

但是，当使用以下方法进行投射时：

val arrIds = someData.select("id").withColumn("id", col("id")
                .cast(DecimalType(30, 0))).collect().map(_.getDecimal(0))

Databricks 接受了这一点，但签名看起来已经错了： intArrSurrIds: Array[java.math.BigDecimal] = Array(2181890000000,...) // 即 BigDecimal

这导致以下错误：

SQL 语句中的错误：AnalysisException：无法解析.. 由于数据类型不匹配：函数 array_contains 的输入应该是数组，后跟具有相同元素类型的值，但它是 [array<decimal(38,18)>，decimal(30 ,0)]

如何在 Spark Databricks Scala 笔记本中正确转换为 decimal(30,0) 而不是 decimal(38,18) ？

任何帮助表示赞赏！

4

1 回答 1

1

您可以arrIds使用Array[Decimal]以下代码进行制作：

import org.apache.spark.sql.functions.col
import org.apache.spark.sql.types.{Decimal, DecimalType}

val arrIds = someData.select("id")
  .withColumn("id", col("id").cast(DecimalType(30, 0)))
  .collect()
  .map(row => Decimal(row.getDecimal(0), 30, 0))

但是，它不会解决您的问题，因为一旦您创建了用户定义的函数，您就会失去精度和规模，正如我在这个答案中所解释的那样

要解决您的问题，您需要将列someTable.someColumn转换为具有与 UDF 返回类型相同的精度和小数位数的 Decimal。所以你的WHERE条款应该是：

WHERE array_contains(myArray(), cast(someTable.someColumn as Decimal(38, 18)))
于 2020-11-04T21:32:30.740 回答