我正在尝试分析 Hive 查询的性能。虽然我能够使用 Java 进行 Hive 查询,但我仍然需要访问每次查询后生成的日志信息。而不是使用破解来读取磁盘上的最新日志并使用正则表达式来提取数字,我正在寻找一种优雅的方法(如果已经可用)。
任何指针都会有所帮助。提前致谢。
-lg
状态、完成于、完成于等查询执行详细信息显示在 Job Tracer 中,您可以通过编程方式访问作业跟踪器。此链接中的相关信息
一旦 hive 开始运行相应的 map-reduce 作业就会启动。这个hadoop作业的日志可以在每个任务运行的相应tasktracker上找到。
使用jobclient API 以编程方式检索这些日志。