我正在尝试运行一个访问配置单元服务器的 pyspark 程序。程序通过抛出错误终止
pyspark.sql.utils.AnalysisException: 'java.lang.RuntimeException: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rwxrwxr-x;
现在,HDFS 上的根暂存目录:/tmp/hive 应该是可写的。当前权限是:-wx------建议我应该 chmod 777。我做到了。
drwxrwxrwx - hadoopuser supergroup 0 2019-07-03 06:39 /tmp/hive
但是,pyspark 仍然会抛出相同的错误。
因此,我决定将临时目录文件夹更改为 /tmp/sparkpy。我在 hive-site.xml 注册了此更改
我重新启动了 hiveserver2,Beeline 确认更改已注册。
+------------------------------------+
| set |
+------------------------------------+
| hive.exec.scratchdir=/tmp/sparkpy |
+------------------------------------+
1 row selected (0.028 seconds)
但是,pyspark 仍然停留在 /tmp/hive 并坚持认为它不可写。