我需要使用Talend抓取带有offset
和limit
参数的分页 REST API 。API 为我提供了我感兴趣的资源列表。
例如,使用offset=0
和对初始请求的响应limit=2
是:
{
"meta": {
"limit": 2,
"next": "/api/v1/request/?offset=2&limit=2",
"offset": 0,
"previous": null,
"total_count": 4300
},
"objects": [
{
"id": 1,
"name": "foo"
},
{
"id": 2,
"name": "bar"
}
]
}
如您所见,响应对象包含一个objects
键,即一些所需的资源和一个meta
键,该键指示要查询的下一个 URL:next
。到目前为止,我能够使用tRESTClient
. 但是,我不知道如何从这里开始并使用next
.
如何对该 API 执行多个请求,以便遍历整个列表直到next
等于null
(=list 已用尽)?
我试图弄清楚 tSetGlobalVar 和 tLoop 如何帮助我,但到目前为止还没有成功。但话又说回来,我是一个 Talend 新手。
当前工作
这是我目前的工作的样子: