我正在做一些与 spark shuffle 机制中的数据文件和索引文件相关的工作。我对此有一个疑问：我们可以在 Apache Spark 中合并或合并两个不同 spark-jobs（在相同 Rdds 上）的两个数据文件（和两个索引文件）吗？
有什么帮助吗？提前致谢！
我正在做一些与 spark shuffle 机制中的数据文件和索引文件相关的工作。我对此有一个疑问：我们可以在 Apache Spark 中合并或合并两个不同 spark-jobs（在相同 Rdds 上）的两个数据文件（和两个索引文件）吗？
有什么帮助吗？提前致谢！