我们正在尝试使用 Azure 数据工厂通过 REST API 连接器从 ServiceNow 中提取数据。
我们已经尝试在 ADF 中使用特定的 ServiceNow 连接器,但这对于我们的目的来说表现得不够好 - 我们需要使用实际值和显示值并经常进行小负载,您无法在适当的位置过滤显示,所以它太慢了。
在简单的测试中,REST API 运行良好,挑战特别是在分页方面。在初始 GET 请求之后,ServiceNow API 在响应头中返回相关链接,格式如下;
Link →<url>;rel="first",<url>;rel="next",<url>;rel="last"
REST 资源数据集具有分页规则的设置,文档建议可以处理 - https://docs.microsoft.com/en-us/azure/data-factory/connector-rest#pagination-support
此通用 REST 连接器支持以下分页模式:
下一个请求的标头 = 当前响应标头中的标头值
我们无法弄清楚在分页规则键/值中放置什么,以便在每次接收到一页数据时导航到 rel="next" URL。
我们已经尝试了文档中描述的大多数选项——这样的事情似乎很接近:
{"paginationRules": {
"AbsoluteUrl": "Headers.['Link']"}
似乎 Headers.['Link'] 部分的格式正确但不够具体。
有没有人建议应该进行什么设置才能完成这项工作?