apache-spark - 通过 sparkcontext 或 hivecontext 的代码从文件运行 hive 查询（而不是通过命令行）

Question

考虑到文件中几乎没有配置单元查询，我的 moto 是使用hivecontext或运行文件sparkcontext

使用命令行我可以做到这一点hive -f 'filepath/filename' 但我必须通过代码运行它（hivecontext或sparkcontext）有人可以帮忙吗？

对于单个查询，我可以使用：

sparkContext.SQL('query')

但我必须运行一个有查询的文件。

Answer 1

你可以使用 Spark/Scala 做到这一点：

queryFile = "path_of_your_file_queries"
Source.fromFile(queryFile, "utf-8").getLines().foreach(query => sparksql.sql(query))

Answer 2

您可以在以下位置运行您的 hql 文件：

val Test = sqlContext.sql(open("file.hql").read())