apache-spark - 来自 PySpark 的 exec sh

Question

我正在尝试在 PySpark 的作业中运行从 .py 文件加载的 .sh 文件，但我收到一条消息，总是说找不到 .sh 文件

这是我的代码：

测试.py：

import os,sys
os.system("sh ./check.sh")

和我的 gcloud 命令：

gcloud beta dataproc jobs submit pyspark --cluster mserver file:///home/myuser/test.py

test.py 文件加载良好但系统找不到 check.sh 文件我发现这与文件路径有关但不确定

我也尝试过os.system("sh home/myuser/check.sh")同样的结果

我认为这应该很容易做到……想法？

Answer 1

通过 API 提交的 Dataproc 作业使用的“当前工作目录”是一个临时目录，每个作业都有唯一的名称；如果文件没有与作业本身一起上传，则必须使用绝对路径访问它。

如果您确实将check.sh文件手动添加到/home/myuser/check.sh，那么您应该能够使用完全限定路径调用它，os.system("sh /home/myuser/check.sh"); 确保以/.