apache-spark - spark-operator 登录 k8s

Question

我正在为 Kubernetes 使用 spark-operator。

https://github.com/GoogleCloudPlatform/spark-on-k8s-operator

我能够成功运行作业，但是由于 pod 是动态的，因此在监视和排除作业时遇到了很多麻烦。

我想知道启用历史服务器（到 s3a://<bucket>）以及 spark-operator 的最佳方法。

另外，如何将每个作业的驱动程序/执行程序的标准输出和标准错误日志存储在 s3a://<bucket> 中。

Answer 1

我认为使用filebeat收集 pod 的日志并将日志保存在 elasticsearch 中是一种很好的做法。