bigdata - Ab Initio 图：通过 Replicate 的键行为进行分区

Question

我问自己一个关于假设我有一个复制 X 次的流 F 的问题。然后，所有复制的流都在同一个键上加入，但每次都使用不同的数据集。

我希望连接以并行布局运行。对于这种特殊情况，我是否需要使用 X 次“按键分区”组件，或者我可以只在复制的输入中放置一个（而不是每个复制输出 1 个）？

TLDR：这个图 https://ibb.co/hHmk5e是否 等同于 https://ibb.co/i2NNJz 假设所有连接都发生在同一个键上

谢谢，

Answer 1

使用 Replicate into multiple Partition By Keys。请注意检查点，如果复制后有 3 个检查点，请考虑删除它们并在复制前放置一个检查点。