google-cloud-functions - 如何从基于事件的 Cloud Function 执行 Google Data Fusion Pipeline

Question

有什么方法可以从 Cloud Function（最好是基于 python）运行 Google Data Fusion 管道？

核心要求是，每当有新文件到达 GCS 存储桶时，就会执行基于事件的云函数。Cloud Function 又需要调用数据融合管道，将 GCS 存储桶文件加载到 BigQuery 中。

要执行 Cloud Function，我们可以使用以下命令：

gcloud 函数部署 hello_gcs_generic --runtime python37 --trigger-resource YOUR_TRIGGER_BUCKET_NAME --trigger-event google.storage.object.finalize

score 2 · Accepted Answer

目前这是不可能的。但是，通过 GA，我们将公开 REST API 以运行数据管道。然后，您可以使用 REST API 从 Cloud Functions 触发管道。

score 0 · Accepted Answer

您可以使用来自 Cloud 函数的 API 来启动管道。

2 回答 2