apache-spark - Spark 执行器 GC 耗时较长

Question

我在一个独立的集群上运行 Spark 作业，我注意到一段时间后 GC 开始花费很长时间，并且开始显示红色可怕的颜色。

以下是可用资源：

Cores in use: 80 Total, 76 Used
Memory in use: 312.8 GB Total, 292.0 GB Used

职位详情：

spark-submit   --class com.mavencode.spark.MonthlyReports   
--master spark://192.168.12.14:7077   
--deploy-mode cluster   --supervise   
--executor-memory 16G --executor-cores 4 
--num-executors 18  --driver-cores 8 
--driver-memory 20G montly-reports-assembly-1.0.jar

如何修复 GC 时间太长？

Answer 1

我遇到了同样的问题，可以通过使用 Parallel GC 而不是 G1GC 来解决它。您可以在提交请求中将以下选项添加到执行程序的附加 Java 选项中

-XX:+UseParallelGC -XX:+UseParallelOldGC