2

我有下面的查询，它应该找到列值的平均值并将结果返回给我，它是一个数字。

val avgVal = hiveContext.sql("select round(avg(amount), 4) from users.payment where dt between '2018-05-09' and '2018-05-09'").first().getDouble(0)

我在此声明中面临不一致的行为。这通常会因以下错误而失败，但是通过 Hive 执行时会给出非 NULL 结果。”

18/05/10 11:01:12 ERROR ApplicationMaster: User class threw exception: java.lang.NullPointerException: Value at index 0 in null
java.lang.NullPointerException: Value at index 0 in null
    at org.apache.spark.sql.Row$class.getAnyValAs(Row.scala:475)
    at org.apache.spark.sql.Row$class.getDouble(Row.scala:243)
    at org.apache.spark.sql.catalyst.expressions.GenericRow.getDouble(rows.scala:192)

我使用 HiveContext 而不是 SQLContext 的原因是后者不支持我在代码中广泛使用的一些聚合函数。

你能帮我理解为什么会出现这个问题以及如何解决吗？

4

2 回答 2

1

您需要将查询分为两部分：

var result = hiveContext.sql("select round(avg(amount), 4) from users.payment where dt between '2018-05-09' and '2018-05-09'");
var first = result.first();
if (first != null && !first.isNullAt(0)) {
var avgVal = first.getDouble(0);
}

这将避免 NPE。这在列表和数组中也需要。

对于插入或更新查询，您甚至需要用try...catch块包围来捕获运行时异常。

于 2018-05-10T09:40:33.113 回答
0

下面分析一下可以抛出这个异常的情况和可能的原因。

Row row = hiveContext.sql("select info, name, desc, id from users.payment where dt between '2018-05-09' and '2018-05-09'").first();

如果row上面的值返回类似：

[null, Kevin, cash, 300]

试图得到getDouble(0)会导致java.lang.NullPointerException: Value at index 0 in null

您可以尝试以下方法：

Row row = hiveContext.sql("select round(avg(amount), 4) from users.payment where dt between '2018-05-09' and '2018-05-09'").first();

if (!row.isNullAt(0))
   double d = row.getDouble(0);
else
   logger.error("Value at index zero is null");

如果您要检查源代码，则库类的作用相反：

private static Object getAnyValAs(Row $this, int i) {
    if($this.isNullAt(i)) {
        throw new NullPointerException((new StringContext(scala.Predef..MODULE$.wrapRefArray((Object[])(new String[]{"Value at index ", " is null"})))).s(scala.Predef..MODULE$.genericWrapArray(new Object[]{BoxesRunTime.boxToInteger(i)})));
    } else {
        return $this.getAs(i);
    }
}
于 2018-05-10T09:57:55.407 回答