我试图为 Spark 指定位置以写入日志文件(使用 log4j)。在 spark docs它说为了从纱线中收集日志,我必须设置该属性。但我在 spark-default.conf 和 yarn-site.xml 中都找不到“spark.yarn.app.container.log.dir”属性。所以我的问题是;
1-) 在哪里设置这个属性?
2-)它有没有默认值?(为了被纱线正确收集)
3-) 我可以通过 spark-submit 命令设置它吗?
我试图为 Spark 指定位置以写入日志文件(使用 log4j)。在 spark docs它说为了从纱线中收集日志,我必须设置该属性。但我在 spark-default.conf 和 yarn-site.xml 中都找不到“spark.yarn.app.container.log.dir”属性。所以我的问题是;
1-) 在哪里设置这个属性?
2-)它有没有默认值?(为了被纱线正确收集)
3-) 我可以通过 spark-submit 命令设置它吗?