logging - Spark 作业服务器显示日志

Question

我已经在独立模式下设置了一个 spark 作业服务器（参见https://github.com/spark-jobserver/spark-jobserver/tree/jobserver-0.6.2-spark-1.6.1 ）。

我已经使用 Scala 设置了一些作业，每个作业都使用相同的共享上下文，但我不明白如何保存我的作业（或上下文）日志。

目前我正在使用：

val logger = LoggerFactory.getLogger(getClass)

没有任何成功。我还没有找到任何文档或示例，甚至可能吗？

谢谢

Answer 1

我发现这有助于尝试解决相同的问题：

https://mapr.com/blog/how-log-apache-spark/

您必须调整 spark log4j 配置。