google-cloud-storage - 将新文件放入其中后，如何通过 Dataflow 从 GCS 存储桶中提取数据？

Question

我有一个用例，我需要从谷歌云存储桶中输入数据，只要它通过 Dataflow 以存储桶中的新文件的形式可用。

如何在新数据（文件）可用或添加到存储桶后立即触发 Dataflow 作业的执行？

Answer 1

如果您的管道是用 Java 编写的，那么您可以使用Cloud Functions和Dataflow 模板。

我假设您使用的是 1.x SDK（也可以使用 2.x）

1. 编写您的管道并将“TemplatingDataflowPipelineRunner”指定为运行器
2. 编写一个云函数，用于侦听和响应到达您存储桶的新对象（在本例中为 CSV 文件）。
3. Cloud Function 启动 Dataflow 管道，并将新文件的名称作为参数传递给它。

有关如何构建此管道的演练，请参见此处。全面披露：我为 Shine 工作。