我有 RDD,其中每条记录都是 int:
[0,1,2,3,4,5,6,7,8]
我需要做的就是将这个 RDD 分成多个批次。即制作另一个 RDD,其中每个元素都是固定大小的元素列表:
[[0,1,2], [3,4,5], [6,7,8]]
这听起来微不足道,但是,我在过去几天感到困惑,除了以下解决方案之外找不到任何东西:
使用 ZipWithIndex 枚举 RDD 中的记录:
[0,1,2,3,4,5] -> [(0, 0),(1, 1),(2, 2),(3, 3),(4, 4),(5, 5)]
使用 map() 迭代这个 RDD 并计算索引
index = int(index / batchSize)
[1,2,3,4,5,6] -> [(0, 0),(0, 1),(0, 2),(1, 3),(1, 4),(1, 5)]
然后按生成的索引分组。
[(0, [0,1,2]), (1, [3,4,5])]
这会给我我需要的东西,但是,我不想在这里使用 group by。当您使用普通的 Map Reduce 或 Apache Crunch 之类的抽象时,这很简单。但是有没有办法在 Spark 中产生类似的结果而不使用大量的 group by?