我有以下挑战,我想最好在 Google Data Fusion 中解决:
我有一个 Web 服务,它返回大约 30-50 个元素,描述 JSON 有效负载中的发票,如下所示:
{
"invoice-services": [
{
"serviceId": "[some-20-digit-string]",
// some other stuff omitted
},
[...]
]
}
对于每次出现的情况,serviceId
我都需要https://example.com/api/v2/services/{serviceId}/items
重复调用另一个 web 服务,每个服务serviceId
都来自第一次调用。我只对第二次调用的数据感兴趣,这些数据将被持久化到 BigQuery 中。第二个服务调用不支持通配符或任何其他聚合项目的机制 - 即,如果我serviceId
从第一次调用中获得 30 个,我需要调用第二个 web 服务 30 次。
我已经进行了第一次调用,我已经使用硬编码进行了第二次调用,serviceId
并且还持久化了 BigQuery。这些调用仅使用 Data Fusion HTTP 适配器。
但是,如何使用第一个服务的输出,以便为第一个调用返回的每一行的第二个服务发出一个 web 服务调用 - 有效地循环所有serviceId
?
我完全理解这在 Python 代码中非常容易,但为了可维护性和适合我们的环境,我更愿意在数据融合中解决这个问题,或者需要谷歌提供的任何其他即服务产品。
非常感谢任何帮助!Ĵ
PS:这不是大数据问题——我正在查看大约 50serviceId
项,也许 300 项。