0

我有一个 Scala 程序,我在其中创建了一个 hivecontext 并从中运行一个 hive 查询。Hive 查询是一个多表插入查询。我面临查询成功运行但看不到正在生成的问题。有趣的是,如果在多表惰性查询中我插入一个表,则查询运行成功,即我可以看到输出数据。例如:

val hiveContext = = new org.apache.spark.sql.hive.HiveContext(sc)

不生成数据的查询:

hiveContext.sql("FROM source_table INSERT INTO destiantion_table_1 PARTITION (...)
INSERT INTO destination_table_2 PARTITION (...)
INSERT INTO destination_table_3 PARTITION (...)")

工作正常的查询:

hiveContext.sql("FROM source_table INSERT INTO destiantion_table_1 PARTITION (...)

我查看了执行程序日志,没有报告未执行的查询的错误。

我在 YARN 上运行 Spark 1.5

让我知道以上是否需要任何其他信息。

4

0 回答 0