我正在尝试使用 spark submit 运行脚本,因为
spark-submit -v \
--master yarn \
--num-executors 80 \
--driver-memory 10g \
--executor-memory 10g \
--executor-cores 5 \
--class cosineSimillarity jobs-1.0.jar
此脚本在 60K 记录上实现 DIMSUM 算法。
不幸的是,即使在 3 小时后这种情况仍在继续。我厌倦了 1K 数据并在 2 分钟内成功运行。
任何人都可以建议对 spark-submit 参数进行任何更改以使其更快吗?