api - 如何从 GCP DataFusion / CDAP 管道中执行多个 HTTP 调用

Question

我有一个 GCP 数据融合管道，我在其中对一个 API 执行 GET 请求，该请求返回一个包含用户 ID 在内的用户信息的 JSON 列表。我可以使用 Data Fusion HTTP 插件（在 Data Fusion HUB 中提供）成功地做到这一点。以下是此类列表的示例：

[
{
  "id" : "adsa6d672",
  "firstName" : "John",
  "lastName" : "Doe"
},
{
  "id" : "adsa6d672",
  "firstName" : "John",
  "lastName" : "Doe"
}
]

基于这个列表（我已经成功解析），我想在另一个 API 上基于每个用户 ID 进行 HTTP 调用，而不是仅仅将它下沉到数据库中。有没有办法在单个数据融合管道上执行此操作（无需启动另一个管道来执行一个 HTTP 请求？

我尝试使用 Data Fusion python 转换插件（在 HUB 中可用）并使用 pythonrequests库来执行 http 请求，但这最终导致错误，因为运行转换插件的 python 解释器中没有安装请求库。

Answer 1

您是否尝试过使用 HTTP 接收器？在 Hub 中，您可以找到包含 HTTP 接收器的 HTTP 插件。