apache-spark - 在 spark 或 spark 流中，如何配置 log4j 属性，以便控制台中不会打印太多日志？

Question

当我尝试运行 spark 流程序时，控制台中打印了太多日志。你能推荐一个好的配置，这样我只能在形成方面得到帮助吗？

Answer 1

编辑conf/log4j.properties以满足您的需求。

你很可能只是想改变

log4j.rootCategory=INFO, console

至

log4j.rootCategory=WARN, console

Answer 2

我遇到了同样的问题并按照指示更改了 log4j.properties。然后输出变成了这个：D

-------------------------------------------
Time: 2015-11-06 00:13:05
-------------------------------------------
()
15/11/06 00:13:06 WARN BlockManager: Block input-0-1446768785800 replicated to only 0 peer(s) instead of 1 peers
-------------------------------------------
Time: 2015-11-06 00:13:10
-------------------------------------------
(u'hello', 1)
()
15/11/06 00:13:14 WARN BlockManager: Block input-0-1446768794000 replicated to only 0 peer(s) instead of 1 peers
-------------------------------------------
Time: 2015-11-06 00:13:15
-------------------------------------------
(u'', 1)
(u'you', 2)
(u'how', 1)
(u'are', 1)
()

看起来不错 :D 谢谢