apache-spark - apache-spark 部署：独立 VS 多个虚拟机

Question

我有一台机器可以部署 Spark、Hadoop 和 Tachyon。来自 hdfs/tachyon 的 spark 操作在一个节点上是否会更快，所有内核/RAM 或多个 VM 节点均分资源？内存 < 200GB。

Spark 中广播的性能和可扩展性已经很老了，但表明网络流量的增加可能对all vs VM 的问题产生很大的负面影响。

Answer 1

拥有多个worker实例可能会更好，虽然它们会增加网络开销，但具有非常大堆的JVM性能并不是很好。