问题标签 [azure-data-factory-pipeline]

我有一个具有多个源和连接的数据流，并希望根据流线与另一个源中 column1 的不同计数创建一个新列，例如比较客户表中的 customerId 与发票表中的 customerId。在 SQL 中，我这样做：

（从发票中选择计数（DISTINCT customerID））AS CustomersWithNoSales，

有没有办法在数据流中使用聚合转换来进行比较？

谢谢。

嗨，我正在使用管道运行 - 按工厂查询来获取最新的管道运行结束（日期时间）。我的请求正文如下所示。

当我添加 orderby 时，pipelinName 的过滤器不起作用（否则过滤器正在工作）并且 RunEnd 按默认降序排序，但我需要它按升序排列，并且在 Microsoft artical 中没有任何可用的语法。

所以我需要

1. 通过 acending 的 order 语法以及 piplelineName 的工作过滤器。

在 azure 数据工厂数据集中，使用复制活动将 json blob 加载到 sqldb，当 json blob 为空数组“[]”时，复制活动会出现错误。

我正在构建 azure 数据工厂管道，其中源是 SFTP，目标是 azure blob 存储。文件可以随时到达，并且每天可以有任意数量的文件进入 SFTP。每当任何文件到达 SFTP 时，我都必须将文件从 Sftp 复制到 blob 存储。我知道 ADF 中的事件触发功能，但只有当文件进入 blob 存储时才有可能。当源与 blob 存储不同时，是否可以实现相同类型的功能，即在到达时复制文件。

我正在尝试将位于 FTP 服务器上的本地压缩文件夹迁移到 Azure datalake V2。这些文件夹每天都会在 FTP 服务器中创建。要求是将这些文件夹增量迁移到 Azure 并在迁移时解压缩文件夹（包含来自大型 [大约 4 次网球场] 医疗设备的不同子系统的日志）。我使用数据工厂创建管道和触发器以在一天中的固定时间运行管道，并在迁移后删除 FTP 上的文件夹。但是，我知道无法删除 FTP 上的文件夹，因为数据工厂不支持此功能，因为源 FTP 中存在 zip 文件。

无论如何，我对云完全陌生。几周前我开始使用 Azure 云，我们使用 Azure 的许多不同产品建立了一个项目。目前，我们正在考虑以一种我们不会被微软困住并且能够切换到 GCP 或 AWS 的方式来设置项目。对于我们使用的大多数产品，我在其他云中发现了类似的产品，但我想知道 AWS 或 CGP 中是否有类似 Azure 数据工厂的东西？我在第一次谷歌研究中找不到任何东西。

最好的，感谢您的帮助

我正在尝试建立一个数据工厂管道，它将 XML 数据引入 Azure SQL 数据库。XML 遵循以下结构：

我在 SQL 中设置了多个表来接受这些数据。简而言之，有一张学校桌子可以容纳所有学校，还有一张学生桌子可以容纳所有学生。

我在数据工厂中设置了复制任务，并且必须将“集合引用”设置为<school>以使其遍历学校。如果我不这样做，它只会在第一所学校加载而忽略其余的。

这适用于在学校加载。问题在于下一个复制任务，它查看相同的 XML 并尝试将所有学校的所有学生复制到学生表中。

如果我将集合引用设置为<school>它只会复制每所学校的第一个学生并忽略其余学生。如果我将集合引用设置为<student>它将复制第一所学校的所有学生，但忽略其余学校和学生。

我想遍历所有学校和学生，以便加载所有学校的所有学生，但我没有看到任何简单的方法来做到这一点。有没有办法为学校和学生设置多个集合引用？

我正在尝试在动态内容字段中使用系统变量“@pipeline().TriggerTime”。

我有一个“复制数据”活动，其中有一个接收器数据集到一个文件夹。

在这个 Sink 数据集中，我尝试将文件路径设置为

但我收到以下错误消息。

该活动包含在一个“If Condition”块中，该块本身包含在一个“ForEach”中，但这个变量在管道中应该是全局的，所以我不明白为什么它不应该工作。

谢谢你的帮助。

我们需要在 azure 中实现转换，同时将文件从 azure blob 存储复制到 azure data Lake gen2。在当前的实现中，我们正在尝试使用数据工厂中的数据流来实现它。然后我们将数据流块嵌入到管道中以供执行。在执行期间它会间歇性地但大多数时候会失败并出现以下错误。虽然监控调试数据流被认为是完整的，但文件没有被复制。还附上了数据工厂调试窗口的屏幕截图。请进一步建议我以解决此问题。

错误信息：

调试记录：

数据流的调试视图

另一个 Azure 数据工厂问题。

我正在尝试在 ForEach 中使用“复制数据”活动，将目标接收器设置为 foreach 的一个项目。

我的设置如下：

• 查找活动以读取 json 文件。

json文件的格式：

• 项目设置为 @activity('Read json config').output.value[0].OutputFolders 的 Foreach 活动
• 在 foreach 活动中的“复制数据”活动

此 Sink 具有以下 Sink 数据集：

但是，当我运行此管道时，我收到以下错误消息：

所以 Message=Permission denied to access '/@item().Destination' 似乎表明目标文件夹未解析。由于此文件夹不存在，我得到一个 SftpPermissionDenied。

我使用相同的方法将文件复制到文件共享，它似乎工作。

有人知道如何使这个目的地正确解析吗？