4

我在远程服务器中有一个工作的 HDFS 和一个正在运行的 Spark 框架。我正在运行 SparkR 应用程序，并希望也能看到完整 UI 的日志。我按照这里的所有说明进行操作：Windows：Apache Spark History Server Config ，并且能够在服务器上启动 History Server。

但是，只有当超级用户（启动 Hadoop 的名称节点的人）和启动 Spark 进程的人远程启动 Spark 应用程序时，日志才会在 HDFS 路径中成功进行并且我们能够查看 Spark 的 History Web UI也是。

当我从我的用户 ID（远程）运行相同的应用程序时，虽然它在端口 18080 上显示历史服务器已启动并正在运行，但它不会记录我的任何应用程序。

我已获得对 HDFS 中文件夹的读取、写入和执行权限。

spark-defaults.conf 文件现在如下所示：

 spark.eventLog.enabled            true
 spark.history.fs.logDirectory     hdfs://XX.XX.XX.XX:19000/user/logs
 spark.eventLog.dir                hdfs://XX.XX.XX.XX:19000/user/logs
 spark.history.ui.acls.enable      false 
 spark.history.fs.cleaner.enabled  true 
 spark.history.fs.cleaner.interval 1d
 spark.history.fs.cleaner.maxAge   7d

我是否错过了某处的某些权限或配置设置（Spark？HDFS）？

任何从这里开始的指针/提示将不胜感激。

4

0 回答 0