apache-spark - Spark 如何执行 I/O？

Question

据我了解，Spark 使用并行 IO 读取文件。该结论来自其他堆栈溢出响应。

我的问题是使用独立方法还是集体方法来触发读取数据？换句话说，是每个工作人员读取一组数据，还是工作人员相互通信并协作以有效地读取数据？

Answer 1

Each Apache Spark workers has Executors, Workers can be deployed as distributed or standalone mode.
Each Worker process its own data that it processes. For more detail see this answer or this link

Answer 2

工作人员通过驱动程序进行通信每个工作人员处理自己的数据