python - 如何隐藏“py4j.java_gateway:Received command c on object id p0”？

Question

一旦在 INFO 级别开始记录，我就会不断地py4j.java_gateway:Received command c on object id p0在您的日志中获取大量信息。我该如何隐藏它？

Answer 1

使用logging模块运行：

logging.getLogger("py4j").setLevel(logging.ERROR)

Answer 2

控制 pyspark 和 py4j 日志记录的最佳方法是设置以下代码段：

import logging
logging.getLogger("py4j").setLevel(<pyspark-level>)
logging.getLogger('pyspark').setLevel(<py4j-level>)
logger = logging.getLogger('pyspark')

对于您的情况，您应该写：

import logging
logging.getLogger("py4j").setLevel(logging.INFO)
logging.getLogger('pyspark').setLevel(logging.ERROR)
logger = logging.getLogger('pyspark')

Answer 3

这些答案都不适合我。即使使用了上述解决方案，我仍然收到日志记录错误。

经过长时间的搜索，我遇到了以下解决我的问题的方法。

import logging
logger = spark._jvm.org.apache.log4j
logging.getLogger("py4j.java_gateway").setLevel(logging.ERROR)

我在 Databricks 知识库文章中找到了这个解决方案