0

我们在 Hadoop 集群上运行 spark 应用程序（HDP 版本 - 来自 Hortonworks 的 2.6.5）。

从日志中我们可以看到以下诊断

User: airflow
Application Type: SPARK
User class threw exception: org.apache.hadoop.security.AccessControlException: Permission denied. user=airflow is not the owner of inode=alapati

日志中没有清楚地提供我们需要搜索的内容HDFS才能找到我们获得权限被拒绝的原因。

4

1 回答 1

0

看起来行 user=airflow 无权将数据写入 HDFS。

默认情况下，/user/ 目录由具有 755 权限的“hdfs”拥有。因此，只有 hdfs 可以写入该目录。

您可以使用两个选项：

  1. 将 spark 用户名从气流更改为hdfs或

  2. 如果仍需要使用 user=airflow，请为气流创建主目录

sudo -u hdfs hadoop fs -mkdir /user/airflow sudo -u hdfs hadoop fs -chown root /user/airflow

于 2019-12-02T09:09:26.523 回答