问题标签 [azure-data-factory-2]

我有四个 ADF 管道以不同的时间表运行（1Hr、2Hr、6Hr 和 1Day）。从昨天开始，他们出现间歇性故障，报告错误 2906，如下：

{ "errorCode": "2906", "message": "包执行失败。", "failureType": "UserError", "target": "%package name%" }

我不清楚错误，但是鉴于它直到昨天一直工作正常，然后昨天成功然后间歇性地失败，有没有关于如何/在哪里解决这个问题的建议？

数据工厂没有内置的日期差异功能。我想在条件活动中比较 lastModified 日期和 utcnow。我怎样才能实现它？

我正在尝试使用两个 forEach 活动来迭代带有参数的文件夹的子文件夹以获取子文件夹的元数据。我有 forEach1 和 forEach2 有他们自己的 items 数组。在第二个 for 循环中，我需要在 Metada 活动中将两个 for 循环的 item() 组合起来，以访问我的数据集，例如 @item1()@item2()。这可能吗？

我一直在 ADF 中开发一个管道，其中一个简单的复制活动将数据从本地 SQL Server 获取到 Azure SQL 数据库，昨天遇到了一个问题（下面的管道图）

我的管道一直无法在同一个地方调试并出现同样的错误

前一天它运行没有任何问题，我意识到虽然调试运行失败，但如果我启动触发器运行，管道就会成功。

我用几个不同的运行时环境和一个全新的管道对此进行了测试，但得到了相同的结果。我什至将它试图执行的单副本任务剥离到一个简单的测试表中，其中包含一列一行。

其他人可以验证他们看到相同或不同的行为吗？或者指出我做错了什么。我想强调它在前天工作得很好。

非常感谢

我正在尝试使用 Azure 数据工厂 (v2) 备份我的 Cosmos Db 存储。一般来说，它正在做它的工作，但我想让 Cosmos 集合中的每个文档对应于 blob 存储中的新 json 文件。

使用下一个复制参数，我可以将集合中的所有文档复制到 azure blob 存储中的 1 个文件中：

如何将每个 cosmos doc 复制到单独的文件并将其命名为 {PartitionId}-{docId}？

UPD

源集代码：

目的地集代码：

管道代码：

输入集合中的文档示例（格式相同）：

我目前有一个由简单的复制活动组成的管道，它从第三方的 FTP 服务器获取压缩文件，解压缩文件并将它们复制到 blob 存储容器。

吞吐量非常低（7 KB/s），简单地复制文件而不解压缩不会造成任何问题（700 KB/s，这与使用 FileZilla 的 FTP 服务器的常规下载速度一致）。

对于数据工厂团队，运行 ID 为：825e15a9-aba6-47ed-8656-88c9b6bc3754

以下数据集中的一些名称已被修改。

输入数据集： { "name": "InputDataset", "properties": { "linkedServiceName": { "referenceName": "3PPFtpServer", "type": "LinkedServiceReference" }, "type": "FileShare", "typeProperties": { "compression": { "type": "ZipDeflate", "level": "Fastest" }, "fileName": "sample_file.zip", "folderPath": "/dir1/dir2/" } }, "type": "Microsoft.DataFactory/factories/datasets" }

输出数据集： { "name": "OutputDataset", "properties": { "linkedServiceName": { "referenceName": "AzureStorageLinkedService", "type": "LinkedServiceReference" }, "type": "AzureBlob", "typeProperties": { "fileName": "", "folderPath": "test-output/" } }, "type": "Microsoft.DataFactory/factories/datasets" }

我在调整减压方面有什么问题吗？

我一直在尝试让数据工厂部署通过 VSTS 工作，并且大部分时间都在那里，但由于需要禁用触发器才能被覆盖，我遇到了失败。下面的错误信息：

尝试进行直接部署以及手动运行 powershell 脚本以删除触发器时都会出现此错误

我找不到通过 powershell 或在发布期间禁用触发器的方法。谁能帮我找到解决方法？没有它，我无法使用数据工厂进行持续集成发布。

谢谢

我正在尝试在 Azure Data Factory 2 中创建一个管道，该管道以 CSV 文件为例并将其转换为 JSON 格式。

问题是除了转换文件的格式之外，我还想根据其他字段应用一些条件。

例如：

CSV：

JSON（架构）：

现在我想要实现的是以下映射，

希望这个例子足够清楚，基本上，我正在尝试通过UI实现动态映射，可以吗？

我正在使用 Data Factory v2，我目前有一个简单的复制活动，它将文件从 FTP 服务器复制到 blob 存储。此服务器上的文件名格式如下：

为了下载最新的文件，我将此过滤器添加到我的输入数据集 json 文件中：

我现在希望能够下载昨天的文件，可以使用adddays().

但是，我希望能够在同一个复制活动中执行此操作，并且似乎 Data Factory v2 不允许我使用以下类型的正则表达式逻辑：

这是可能的还是我需要一个单独的活动？

需要第二个活动似乎很奇怪，因为复制活动只能接受一个输入，但如果正则表达式足够简单，则多个文件被视为单个输入，如果不是，则多个文件被视为多个输入。

在我的 Azure Data Lake Store 中，我试图读取我使用 Azure Data Factory 2 中的管道导入的文件。

尽管我使用用于创建数据工厂、数据工厂的应用程序注册和数据湖本身的相同凭据登录，但我收到以下错误消息：

错误：访问控制异常

MESSAGE: OPEN failed with error 0x83090aa2（禁止。ACL 验证失败。资源不存在或用户无权执行请求的操作。）。[1a8ca11b-d726-468a-9aeb-d8ef3d93a81d] 失败，错误为 0x83090aa2（禁止。ACL 验证失败。资源不存在或用户无权执行请求的操作。）。[1a8ca11b-d726-468a-9aeb-d8ef3d93a81d][2018-06-19T07:45:23.8686252-07:00]

我的第一个想法是，这显然与访问权限有关。因此，出于好奇，我在保存我的文件的文件夹的访问页面中授予了“其他人”的读取、写入和执行访问权限。有趣的是，同样的错误发生了。

为什么？

我使用的 IR 在创建过程中自动选择，称为“AutoResolveIntegrationRuntime”。