java - 没有 Spark SQL 的 Spark 到 HCatalog

Question

如何在不使用 Spark SQL 的情况下从 Spark 作业连接到 HCatalog。

我们正在使用 Spark 的 Cloudera 发行版，因为目前他们不支持 Spark SQL。

还有其他方法可以从 Spark 作业连接 HCatalog 吗？

Answer 1

为什么不通过 WebHCat 连接到 HCatalog REST 服务器？ https://cwiki.apache.org/confluence/display/Hive/WebHCat

这可以在不依赖 Cloudera spark / SparkSQL 集成的情况下完成。