我有一个 Scala 程序,我在其中创建了一个 hivecontext 并从中运行一个 hive 查询。Hive 查询是一个多表插入查询。我面临查询成功运行但看不到正在生成的问题。有趣的是,如果在多表惰性查询中我插入一个表,则查询运行成功,即我可以看到输出数据。例如:
val hiveContext = = new org.apache.spark.sql.hive.HiveContext(sc)
不生成数据的查询:
hiveContext.sql("FROM source_table INSERT INTO destiantion_table_1 PARTITION (...)
INSERT INTO destination_table_2 PARTITION (...)
INSERT INTO destination_table_3 PARTITION (...)")
工作正常的查询:
hiveContext.sql("FROM source_table INSERT INTO destiantion_table_1 PARTITION (...)
我查看了执行程序日志,没有报告未执行的查询的错误。
我在 YARN 上运行 Spark 1.5
让我知道以上是否需要任何其他信息。