20

一旦在 INFO 级别开始记录,我就会不断地py4j.java_gateway:Received command c on object id p0在您的日志中获取大量信息。我该如何隐藏它?

4

3 回答 3

34

使用logging模块运行:

logging.getLogger("py4j").setLevel(logging.ERROR)

于 2016-05-16T11:11:49.907 回答
0

控制 pyspark 和 py4j 日志记录的最佳方法是设置以下代码段:

import logging
logging.getLogger("py4j").setLevel(<pyspark-level>)
logging.getLogger('pyspark').setLevel(<py4j-level>)
logger = logging.getLogger('pyspark')

对于您的情况,您应该写:

import logging
logging.getLogger("py4j").setLevel(logging.INFO)
logging.getLogger('pyspark').setLevel(logging.ERROR)
logger = logging.getLogger('pyspark')
于 2021-05-17T11:29:53.650 回答
0

这些答案都不适合我。即使使用了上述解决方案,我仍然收到日志记录错误。

经过长时间的搜索,我遇到了以下解决我的问题的方法。

import logging
logger = spark._jvm.org.apache.log4j
logging.getLogger("py4j.java_gateway").setLevel(logging.ERROR)

我在 Databricks 知识库文章中找到了这个解决方案

于 2022-02-21T06:51:22.577 回答