python - 在客户端模式下运行时如何引导火花日志？

Question

我正在使用用于监控的模式pyspark在集群上运行应用程序。clientstandalone

我想做的就是查看日志。

我尝试了两件事：

1) 我转到spark-defaults.confSPARK_HOME 中的配置文件 ( )：

spark.eventLog.dir     hdfs:<ip>:<port>/<path to directory/

2）在我的python脚本中设置以下内容：

conf = pyspark.SparkConf()
conf.set("spark.eventLog.dir", 'hdfs:<ip>:<port>/<path to directory/')
sc = pyspark.SparkContext(conf=conf)

这些似乎都不会在文件夹中产生日志。还有什么我可以尝试的吗？

谢谢你。这是火花1.3