apache-spark - 为 pyspark 启动的 jvm 指定选项

Question

pyspark 脚本在启动它连接到指定的 jvm 时使用的 jvm 选项如何/在哪里？

我对指定 jvm 调试选项特别感兴趣，例如

-agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=5005

谢谢。

Answer 1

pyspark使用bin/spark-class脚本启动您在终端/控制台中看到的正在运行的客户端。您可以附加任何必要的选项JAVA_OPTS：

JAVA_OPTS="$JAVA_OPTS -Xmx=2g -Xms=1g -agentlib:jdwp=transport=dt_socket,server=y..."