在我的公司，我们使用新旧机器的组合拼凑了一个非常异构的 YARN + Spark 集群。由于单个机器的统计数据差异很大，我希望能够在更大的机器上启动多个执行器。设置--num-executors高于集群中的机器数不起作用。是否需要更改其他设置才能启用此设置，或者只是不可能？
问问题
437 次
1 回答
0
通过 --executor-cores 选项。这应该是〜4以获得良好的性能： http ://www.datarpm.com/resources/achieving-optimal-performance-with-apache-spark1-5/
这将在 4 核机器上启动一个执行器，在 16 核机器上启动 4 个执行器。
于 2016-10-28T17:58:04.573 回答