apache-spark - 使用 spark-submit 时如何在控制台中删除消息？

Question

当我使用 运行spark-submit作业时scala，我可以在控制台中看到很多状态消息。

但我只想看到我的指纹。我可以输入任何参数以免看到这些消息吗？

Answer 1

这应该可以解决大部分问题。把它放在代码中：

import org.apache.log4j.{Level, Logger}
Logger.getLogger("org").setLevel(Level.WARN)
Logger.getLogger("akka").setLevel(Level.WARN)

或者这个conf/log4j.properties：

log4j.rootCategory=WARN, console