google-cloud-dataproc - 使用“--py-files”参数将 PySpark 作业提交到集群

Question

我试图使用要使用的 python 文件的 zip 的 GCS uri（通过 --py-files 参数）和 python 文件名作为 PY_FILE 参数值提交作业。这似乎不起作用。我是否需要为 PY_FILE 值提供一些相对路径？PY_FILE 也包含在 zip 中。例如在

gcloud beta dataproc jobs submit pyspark  --cluster clustername --py-files gcsuriofzip PY_FILE    

PY_FILE 的值应该是多少？

Answer 1

这是一个很好的问题。为了回答这个问题，我将使用PySpark wordcount 示例。

在这种情况下，我创建了两个文件，一个称为test.py我要执行的文件，另一个称为wordcount.py.zipzip，其中包含旨在模仿我要调用的模块的修改文件。 wordcount.py

我的test.py文件如下所示：

import wordcount
import sys
if __name__ == "__main__":
    wordcount.wctest(sys.argv[1])

我修改了wordcount.py文件以消除主要方法并添加命名方法：

...
from pyspark import SparkContext

...
def wctest(path):
    sc = SparkContext(appName="PythonWordCount")
...

我可以使用以下命令在Dataproc上调用整个过程：gcloud

gcloud beta dataproc jobs submit pyspark  --cluster <cluster-name> \
--py-files gs://<bucket>/wordcount.py.zip gs://<bucket>/test.py \ 
gs://<bucket>/input/input.txt

在此示例<bucket>中，是我的存储桶的名称（或路径），<cluster-name>也是我的 Dataproc 集群的名称。