0
  1. 我已经使用 Dotnet SDK 创建了 docker 文件
  2. 复制了我的控制台的调试文件夹
  3. 创建包含运行 dotnet pyspark 应用程序所需的所有软件的包（文件夹）并将其复制到我的图像文件中

在下面找到 Docker 映像详细信息

FROM mcr.microsoft.com/dotnet/sdk:5.0

WORKDIR /app/Debug

COPY ./Debug .

WORKDIR /app/DotnetSpark.Package

COPY ./DotnetSpark.Package .

ENV HADOOP_HOME=C:/app/DotnetSpark.Package/hadoop
ENV SPARK_HOME=C:/app/DotnetSpark.Package/spark-3.0.0-bin-hadoop2.7
ENV DOTNET_WORKER_DIR=C:/app/DotnetSpark.Package/Microsoft.Spark.Worker-1.0.0
ENV DOTNET_ASSEMBLY_SEARCH_PATHS=C:/app/Debug
ENV JAVA_HOME=C:/app/DotnetSpark.Package/java
ENV DOTNET="C:/Program Files/dotnet"
ENV TEMP=C:/Windows/Temp
ENV TMP=C:/Windows/Temp

PATH=${HADOOP_HOME}/bin;${SPARK_HOME}/bin;${DOTNET_WORKER_DIR};${JAVA_HOME}/bin;${DOTNET};C:/Windows/system32;C:/Windows;${TEMP};${TMP}

ENTRYPOINT ["cmd.exe"]

运行此 docker 后，cmd 提示符正在打开，然后我尝试执行以下命令

spark-submit --class org.apache.spark.deploy.dotnet.DotnetRunner --master local "c:\app\debug\packages\Microsoft.Spark.1.0.0\jars\microsoft-spark-3-0_2.12 -1.0.0.jar" "c:\app\debug\spark_app.exe"

但是这个命令没有抛出任何异常或结果，我得到的结果如下图

任何人都可以帮助解决我的问题或建议一种使用 docker 运行 dotnet pyspark 的方法吗？

在此处输入图像描述

4

0 回答 0