4

我想以这样一种方式自动化我的配置单元 ETL 工作流，因为内存限制，我需要基于执行引擎（Tez 或 MR）执行配置单元作业。

请您帮忙，因为我想在我的整个工作流程之间交叉检查我目前正在处理的执行引擎。

提前致谢。

4

1 回答 1

10

Hive 执行引擎由hive.execution.engine属性控制。它可以是以下任何一种：

  • mr（地图缩减，默认）
  • tez（Tez 执行，仅适用于 Hadoop 2）
  • spark（Spark 执行，用于 Hive 1.1.0 及更高版本）。

可以使用 hive/beeline cli 读取和更新该属性

  • 对于阅读 -SET hive.execution.engine;
  • 对于更新 -SET hive.execution.engine=tez;

如果您想以编程方式获取此值，则必须选择支持多种方式的 HiveClient，如 JDBC、Java、Python、PHP、Ruby、C++ 等。

参考

于 2018-02-26T07:22:18.310 回答