apache-spark - 将 spark-submit 命令（用于 spark 应用程序的 dotnet）转换为用于 python 应用程序的 spark-submit 命令

Question

如果以下（工作）spark-submit 命令（用于 Spark 应用程序的 dotnet）正在执行 python 脚本，它是否仍会使用相同的 --conf 设置？给定一个名为 myapp.py 的 python 脚本名称，它没有定义函数（除了main）， --class 引用对于 python 脚本来说是什么？

/opt/spark/bin/spark-submit --class org.apache.spark.deploy.dotnet.DotnetRunner \
   --conf "spark.eventLog.enabled=true" \
   --conf "spark.eventLog.dir=file:/usr/bin/spark/hadoop/logs" \
   --master spark://spark:7077 \
   /opt/spark/jars/microsoft-spark-3-1_2.12-2.0.0.jar \
   dotnet myapp.dll "somefilename.txt"

Answer 1

对于 Python 应用程序，只需传递一个 .py 文件，无需提及类名

/opt/spark/bin/spark-submit \    
--conf "spark.eventLog.enabled=true" \
--conf "spark.eventLog.dir=file:/usr/bin/spark/hadoop/logs" \   
--master spark://spark:7077 \
/your python file path/myapp.py

有关更多信息，您可以参考https://spark.apache.org/docs/latest/submitting-applications.html