1

我有以下挑战,我想最​​好在 Google Data Fusion 中解决:
我有一个 Web 服务,它返回大约 30-50 个元素,描述 JSON 有效负载中的发票,如下所示:

{
  "invoice-services": [
    {
      "serviceId": "[some-20-digit-string]",
      // some other stuff omitted
    },
    [...]
  ]
}

对于每次出现的情况,serviceId我都需要https://example.com/api/v2/services/{serviceId}/items重复调​​用另一个 web 服务,每个服务serviceId都来自第一次调用。我只对第二次调用的数据感兴趣,这些数据将被持久化到 BigQuery 中。第二个服务调用不支持通配符或任何其他聚合项目的机制 - 即,如果我serviceId从第一次调用中获得 30 个,我需要调用第二个 web 服务 30 次。

我已经进行了第一次调用,我已经使用硬编码进行了第二次调用,serviceId并且还持久化了 BigQuery。这些调用仅使用 Data Fusion HTTP 适配器。

但是,如何使用第一个服务的输出,以便为第一个调用返回的每一行的第二个服务发出一个 web 服务调用 - 有效地循环所有serviceId

我完全理解这在 Python 代码中非常容易,但为了可维护性和适合我们的环境,我更愿意在数据融合中解决这个问题,或者需要谷歌提供的任何其他即服务产品。

非常感谢任何帮助!Ĵ

PS:这不是大数据问题——我正在查看大约 50serviceId项,也许 300 项。

4

0 回答 0