google-cloud-platform - 如何在 GCP 上同时处理数据流两个批处理文件

Question

我想同时处理从 gcp 到数据流的两个文件。

我认为如果再有一个文件进入侧面输入是可能的。

但是，在这种情况下，我认为它会每次都被处理，而不仅仅是一次。

例如）如何同时读取和处理file1和file2（我是否必须将两个文件放在一个文件中并按照路径？）

如果您能给我一个很好的例子或建议，我将不胜感激。

谢谢你。

Answer 1

如果您从一开始就知道这 2 个文件，您可以简单地拥有一个带有 2 个条目 (fileIO) 的管道

我不懂你的语言，但通过设计你可以做到这一点

     PCollection1                        PCollection2
          |                                   |
   FileIO(readFile1)                   FileIO(readFile2)
          |                                   |
    Transform file                       Transform file
          |                                   |
    WriteIO(sink)                        WriteIO(sink)

您可以想象侧面输入、展平、分组、...都取决于您的需求。