3

Spark 中的两种分区有什么区别？

例如：我从磁盘加载一个文本文件 toto.csv 到 spark 集群

val text = sc.textFile("toto.csv", 100)

=>它将我的文件分成100个没有“规则”的片段

在那之后，如果我这样做

val partion = text.partitionBy(new HashPartitioner(100))

=> 它按键将我的文件“拆分”为 100 个分区

感谢任何确认或建议

4

0 回答 0