1

我正在创建一个数据工厂管道，将数据从 REST API 端点复制到 Azure Blob 存储。API 有一次只能返回 1000 条记录的限制，因此我在管道中构建了一个循环，它将遍历所有页面。我想知道的是 - 是否可以使用复制活动附加到 Azure Blob 中的同一文件，而不是为每个页面创建一个单独的文件？

下面是 API 响应的样子。我需要从每个响应中获取的唯一值是“记录”列表，所以我在想如果可能的话，我可以摆脱其他东西，并在循环运行时继续附加到同一个文件 - 尽管我没有知道复制活动是否能够做到这一点。这可能吗？或者这样做的唯一方法是将所有响应作为单独的文件放在 Blob 存储中，然后在事后将它们组合起来？

谢谢你

{
    "totalResults": 8483,
    "pageResults": 3,
    "timeStamp": "2020/08/24 10:43:26",
    "parameters": {
        "page": 1,
        "resultsPerPage": 3,
        "filters": [],
        "fields": [
            "lastName",
            "firstName",
            "checklistItemsAssigned",
            "checklistItemsStarted",
            "checklistItemsCompleted",
            "checklistItemsOverdue"
        ],
        "sort": {
            "field": "lastName",
            "direction": "asc"
        }
    },
    "records": [
        {
            "checklistItemsAssigned": 10,
            "lastName": "One",
            "firstName": "Person",
            "checklistItemsOverdue": 0,
            "checklistItemsStarted": 10,
            "checklistItemsCompleted": 10
        },
        {
            "checklistItemsAssigned": 5,
            "lastName": "Two",
            "firstName": "Person",
            "checklistItemsOverdue": 0,
            "checklistItemsStarted": 5,
            "checklistItemsCompleted": 5
        },
        {
            "checklistItemsAssigned": 5,
            "lastName": "Three",
            "firstName": "Person",
            "checklistItemsOverdue": 0,
            "checklistItemsStarted": 5,
            "checklistItemsCompleted": 5
        }
    ]
}
4

1 回答 1

1

ADF 的复制活动支持从块、追加或页面类型的 blob 复制 blob，但仅将数据复制到块 blob。Blobk blob 只能被覆盖。您可能可以使用 Storage SDK 创建附加类型的 blob，但对于大多数项目来说，这将是一种矫枉过正的做法。我会在最后阶段创建新的 blob 并合并它们。

于 2020-08-24T17:51:52.543 回答