1

我从直线跑到 hive coomand 下面。有人可以告诉我在哪里可以看到 Map reudce 日志吗？

0: jdbc:hive2://<servername>:10003/> select a.offr_id offerID , a.offr_nm  offerNm  , b.disp_strt_ts  dispStartDt , b.disp_end_ts dispEndDt , vld_strt_ts validStartDt, vld_end_ts validEndDt from gcor_offr a, gcor_offr_dur b where a.offr_id = b.offr_id and b.disp_end_ts > '2016-09-13 00:00:00';
4

3 回答 3

3

使用直线时，MapReduce 日志是 HiveServer2 log4j 日志的一部分。

如果您的 Hive 安装是由 Cloudera Manager (CM) 配置的，那么它通常位于/var/log/hive/hadoop-cmf-HIVE-1-HIVESERVER2-*.out运行 HiveServer2 的节点上（可能与您运行直线的位置相同，也可能不同）

其他几个场景：

  • 您的 Hive 安装不是由 CM 配置的？您将需要手动创建 log4j 配置文件：

    • 在环境变量指定的目录中创建hive-log4j.properties配置文件。HIVE_CONF_DIR（这使得 HiveServer2 JVM 类路径可以访问它）
      • 在此文件中，日志位置由log.dir和指定log.file。请参阅conf/hive-log4j.properties.template您的发行版以获取此文件的示例模板。

  • 您以“嵌入式 HS2 模式”（即beeline -u jdbc:hive2:// user password）运行直线？：

    • 您将自定义beeline log4j（而不是HiveServer2 log4j）。
    • Beeline log4j 属性文件被严格调用beeline-log4j2.properties（在 Hive 2.0 之前的版本中，它被称为beeline-log4j.properties）。需要通过HIVE_CONF_DIR. 有关此问题的进一步讨论，请参阅 HIVE-10502 和 HIVE-12020。

  • 您想自定义在直线标准输出上打印的 HiveServer2 日志吗？

    • 这可以使用hive.server2.logging.operation.enabled和配置在 HiveServer2 级别进行hive.server2.logging.operation配置。
于 2017-05-23T23:45:35.360 回答
0 
set hive.async.log.enabled=false
于 2019-09-03T04:00:14.613 回答
0

Hive 使用 log4j 进行日志记录。默认情况下，这些日志不会发送到标准输出，而是捕获到 Hive 的 log4j 属性文件指定的日志文件中。默认情况下，Hive 将conf/ directory在 Hive 安装中使用 hive-log4j.default，它将日志写入/tmp/<userid>/hive.log并使用 WARN 级别。

通常需要将日志发送到标准输出和/或更改日志级别以进行调试。这些可以从命令行完成，如下所示：

$HIVE_HOME/bin/hive --hiveconf hive.root.logger=INFO,console
于 2016-09-16T09:21:59.613 回答