0

在 Ubuntu 上的 Jupyter Notebook 中运行 PySpark 时，我有时会遇到 Java 失败的问题。我想要的是从 Java 端查看错误，因为我所看到的通常是 Python 的很长的一般错误，可以总结为：

ERROR:root:Exception while sending command.
Traceback (most recent call last):
  File "/opt/conda/lib/python3.6/site-packages/py4j/java_gateway.py", line 1207, in send_command
    raise Py4JNetworkError("Answer from Java side is empty")
py4j.protocol.Py4JNetworkError: Answer from Java side is empty

这个错误可能意味着很多事情，它根本没有帮助。通常这意味着 Java 崩溃了，但我想知道究竟是为什么。

我需要这些日志的示例是，例如，我尝试在 DGX-1 机器上的 PySpark 上运行 Rapids，但在初始化 Spark 上下文时，它会像 abo 一样以 Java 崩溃告终。这不是这些错误的唯一原因，但这段代码很容易在我这边导致这些错误。

import pyspark
import os
cudf = "cudf-0.17-cuda10-1.jar"
rapids = "rapids-4-spark_2.12-0.2.0.jar"
script = "getGpuResources.sh"
separator = ","
conf = pyspark.SparkConf()
conf.set("spark.jars",cudf + "," + rapids)
conf.set("spark.plugins","com.nvidia.spark.SQLPlugin")
conf.set("spark.driver.memory","48g")
conf.set("spark.executor.memory","48g")
conf.set("spark.driver.cores","80")
conf.set("spark.executor.cores","80")
conf.set("spark.task.cpus","80")
conf.set("spark.dynamicAllocation.enabled","false")
conf.set("spark.rapids.sql.concurrentGpuTasks","8")
conf.set("spark.dynamicAllocation.enabled","false")
conf.set("spark.sql.extensions","ai.rapids.spark.Plugin")
conf.set("spark.driver.resource.gpu.amount","8")
conf.set("spark.driver.resource.gpu.discoveryScript",script)
conf.set("spark.executor.resource.gpu.amount","8")
conf.set("spark.executor.resource.gpu.discoveryScript",script)
conf.set("spark.task.resource.gpu.amount","8")
sc = pyspark.SparkContext(appName="rapids", conf = conf)

我的问题：有没有办法以某种方式捕获 PySpark 运行的 Java 进程的标准输出（使用 pyspark/jupyter/Ubuntu）以了解 Java 崩溃的真正原因？

4

1 回答 1

0

所以这将取决于你的跑步方式。您是刚刚启动 pyspark 本地模式还是针对集群（纱线、独立等）运行？

如果您只是指向 jupyter 并运行“pyspark” - 它在本地模式下运行的火花。通常，您可以从启动 pyspark 的终端看到日志输出。默认的日志模式虽然只是警告。您可以在 jupyter notebook 中更改：

sc.setLogLevel("INFO")

但无论哪种方式，您都应该看到出现错误。

如果您在本地模式下运行，您应该按照此处的 rapids 插件说明进行操作：https ://nvidia.github.io/spark-rapids/docs/get-started/getting-started-on-prem.html#local-模式

特别是本地模式下的 Spark 不支持 gpu 调度，因此您应该删除所有这些配置。

我建议您在启动它时在命令行上指定选项。我使用 jupyter 在本地模式下使用 pyspark 进行了快速测试，方法是使用以下命令启动它：

pyspark --master local[4] --jars cudf-0.18-SNAPSHOT-cuda10-1.jar,rapids-4-spark_2.12-0.4.0-SNAPSHOT.jar --conf spark.driver.extraJavaOptions=-Duser。 timezone=GMT --conf spark.sql.session.timeZone=UTC --conf spark.executor.extraJavaOptions=-Duser.timezone=GMT --conf spark.plugins=com.nvidia.spark.SQLPlugin --conf --conf spark.rapids.sql.explain="NOT_ON_GPU"

通常，即使针对纱线和独立模式部署，我也希望您的驱动程序日志出现在您启动 pyspark 的位置，除非您在集群模式下运行，否则将在集群上运行的执行程序日志可能会在其他地方。

另请注意，此配置对 spark-rapids 插件无效： conf.set("spark.executor.resource.gpu.amount","8") conf.set("spark.task.resource.gpu.amount" ,"8") 该插件仅支持每个执行器 1 个 gpu。

您也不需要任何驱动程序 gpus： conf.set("spark.driver.resource.gpu.amount","8") 但如果您愿意，也可以。

如果您还有其他问题，请随时在 spark-rapids 存储库中提出问题。

于 2021-02-02T18:31:58.437 回答