google-bigquery - 使用实时管道时，无法从 gcs 向 bigquery 提供数据

Question

我在数据融合中开发了一个实时管道，以从 pubsub 获取数据，然后馈入 GCS，然后馈入 BQ。但是，在 GCS（可用作接收器）之后，我无法将数据输入 BQ，因为 GCS 仅可用作接收器，因此它不提供任何输出模式。有什么办法可以让我创建一个管道将数据从 GCS 传输到 BQ

Answer 1

提供一个可能的解决方案：无法将一个接收器连接到另一个接收器。基于这个问题，我的猜测是 SO 正试图将 GCS 接收器插件连接到 BQ 接收器，并使数据从一个接收器流向另一个接收器。这不是数据融合管道的设计可能的。

SO 可以同时将数据从 pubsub 源推送到 BQ 和 GCS 接收器，而不是一个接一个地推送。它看起来像这样，

希望这可以帮助。