java - 使用 java 创建的两个 RDD 上的 Spark SQL 连接

Question

我创建了两个 RDD 并使用 java 将它们持久化。我已将 jar 提交给 spark master。现在当spark shell提示我输入查询时，我已经给出了两个RDD上的SQL语句连接条件；然后它在对结果集执行 collect() 时引发异常。

JOIN Condition : 从 TABLE_1 中选择 a.ID 作为 JOIN TABLE_2 b ON a.NAME = b.NAME;

异常：resultSet.collect() 上的空指针异常

PS：我在 resultSet.collect(); 之前检查了结果集是否为空。但它仍然进入条件并抛出 NPE。我正在使用 spark-sql-1.1.1 jar（最新）。

SPARK SQL 中的 JOIN 是否存在问题？

Answer 1

看起来 Java spark API 的某些 JOIN 操作存在问题。当我尝试使用 scala 进行相同操作时，它起作用了