apache-flink - Flink：如何在一次转换中处理和输出两个数据集？

Question

join 和 coGroup 转换可以读取 2 个输入数据集并输出一个（“Y”通量）（如果我错了，请纠正我）。

我想处理和更新 2 个数据集。为此，我计划使用 2 个coGroup转换。

但是，出于性能目的，这两种转换可以在一个单一的（“H”通量）中完成吗？

此外，随着数据集的更新，我想对它们进行迭代。如果目前无法实现，您是否计划在未来支持这种转变？

Answer 1

所有 Flink DataSet 算子都只支持一个输出，但一个算子的输出可以被两个或多个后续算子消费。

有两种方法可以解决您的问题：

1. 使用单个 CoGroup 计算两个输出的结果，并添加两个过滤器来过滤掉两个输出之一的记录。如果两个输出具有不同的数据类型，则需要计算返回类似Tuple2<FirstType, SecondType>. 这个解决方案看起来像：

    input1--\ /--> Filter_output1
              联合集团
    input2--/ \--> Filter_output2

2. 在分组键上对两个 CoGroup 输入进行分区和排序，并调用两个单独的 CoGroup。每个 CoGroup 计算一个输出。通过在 CoGroup 之前对数据进行排序，可以重复使用分区和排序。重要的是，所有运算符必须使用相同的并行度！

    input1 --> PartitionHash --> SortPartition -\-/-> CoGroup1 --> Output1
                                                 X
    input2 --> PartitionHash --> SortPartition -/-\-> CoGroup2 --> Output2

关于迭代，请查看 Flink 的迭代运算符。