10

使用 Apache Pig 版本 0.10.1.21（重新导出）。当我执行一个 pig 脚本时，有很多 INFO 日志记录行，如下所示：

2013-05-18 14:30:12,810 [Thread-28] INFO  org.apache.hadoop.mapred.Task - Task 'attempt_local_0005_r_000000_0' done.
2013-05-18 14:30:18,064 [main] WARN  org.apache.pig.tools.pigstats.PigStatsUtil - Failed to get RunningJob for job job_local_0005
2013-05-18 14:30:18,094 [Thread-31] WARN  org.apache.hadoop.mapred.JobClient - No job jar file set.  User classes may not be found. See JobConf(Class) or JobConf#setJar(String).
2013-05-18 14:30:18,114 [Thread-31] INFO  org.apache.hadoop.mapreduce.lib.input.FileInputFormat - Total input paths to process : 1
2013-05-18 14:30:18,254 [Thread-32] INFO  org.apache.hadoop.mapred.Task -  Using ResourceCalculatorPlugin : org.apache.hadoop.util.LinuxResourceCalculatorPlugin@3fcb2dd1
2013-05-18 14:30:18,265 [Thread-32] INFO  org.apache.hadoop.mapred.MapTask - io.sort.mb = 10

pig 脚本中是否有 SET 命令或命令行标志来允许日志记录级别？基本上我想隐藏 [Thread-xx] INFO 消息。只显示警告和错误。我已经尝试过命令行调试标志。不幸的是，INFO 消息仍然显示：

pig -x local -d WARN MyScript.pig

希望有解决办法。提前感谢您的帮助。

已解决：由 Loran Bendig回答，设置 log4j.properties。为方便起见，在此总结

Step1：将log4j配置文件复制到我的猪脚本所在的文件夹中。

cp /etc/pig/conf.dist/log4j.properties log4j_WARN

步骤 2：编辑 log4j_WARN 文件并确保这两行存在

log4j.logger.org.apache.pig=WARN, A
log4j.logger.org.apache.hadoop = WARN, A

Step3：运行 pig 脚本并指示它使用自定义 log4j

pig -x local -4 log4j_WARN MyScript.pig
4

3 回答 3

5

另一个设置也可能是这样的：

创建一个名为 nolog.conf 的文件，内容如下

log4j.rootLogger=fatal

然后运行 ​​pig 如下

pig -x local -4 nolog.conf
于 2016-03-01T04:02:52.060 回答
0

您可以像这样覆盖默认日志配置（包括 INFO 消息）：

pig -4 log4j.properties MyScript.pig
于 2013-05-19T13:11:48.760 回答
0

您还需要设置 rootLogger：

log4j.rootLogger=ERROR, A
log4j.logger.org.apache.pig=ERROR, A
log4j.logger.org.apache.hadoop = ERROR, A
于 2015-06-27T23:02:08.780 回答