hadoop - 如何抑制 hadoop fs 命令的信息消息

Question

当我们运行 hadoop fs -get 命令时，我们会看到所有信息消息。我怎样才能抑制这些消息。

17/12/05 17:59:02 INFO s3n.S3NativeFileSystem: Opening 's3://testbucketzs/Manish/test1/data/csv-serde-1.1.2-0.11.0-all - Copy (796) - 

Answer 1

如果您不想全局更改所有 Hadoop 进程的 log4j.properties，您可以执行一次性命令

export HADOOP_ROOT_LOGGER="WARN,DFRA"

然后，hdfs该会话中的以下命令将不会输出INFO消息。

Answer 2

您需要修改文件如下：

$HADOOP_HOME/conf/log4j.properties 在此文件中，替换以下行：

log4j.appender.EventCounter=org.apache.hadoop.log.EventCounter

用这条线： log4j.appender.EventCounter=org.apache.hadoop.log.metrics.EventCounter

如果你不想在全局范围内将 stderr 指向黑洞，就像这样hdfs dfs -get /hdfs_path/ /local_path/ > 2>/dev/null

另一个建议使用hdfs dfs -get而不是hadoop fs弃用。

如果您有兴趣，此链接有说明。