问题标签 [azure-data-factory-pipeline]

在我的数据流管道中，我想添加一个派生列，它的数据类型是数组。我想用 1000 个字符拆分现有列而不破坏单词。我认为我们可以使用 regexSplit，

但我不知道我可以使用哪个正则表达式来拆分现有列而不破坏单词。请帮我弄清楚。

我在 SFTP 中有每周上传的文件。这些文件的名称带有附加的日期。我只想每周将最新的文件复制到 adls 中。每当作业成功完成时，日期都会存储在 sql 表中，因此我可以查找上次成功运行的日期。

在我看来，我认为我需要这样的东西：过滤名称包含日期大于或等于上次成功运行日期的文件....或过滤上次修改日期大于或等于上次成功运行日期的文件？

这样，如果作业在上次运行时失败，它将获取前几周和当前几周的文件。

目前，我的管道有一个查找，可以向我显示最后一次成功运行，获取显示 sftp 文件夹中所有文件的元数据，过滤器和每个（副本）。我知道副本有效，因为我为特定文件设置了过滤器并且它有效。我需要帮助的领域是过滤器。

我有 Azure 数据工厂管道，它具有带有存储过程接收器的复制数据活动。SP 将表类型参数作为输入。到目前为止一切正常。但现在 SP 已更改，我需要添加另一个参数，该参数应该是我的 Copy Data 活动的 Source 列之一的 Max。我无法在该 SP 内执行此操作，因为它被其他组件重用并将其作为输入。当然，我可以将它包装到另一个计算 Max 的 SP 中，然后调用原始 SP，但我认为更好的方法是直接形成 ADF 管道。所以我想我可以在我的接收器 SP 中添加一个新参数，并以某种方式使用动态内容获取该最大值，但我无法找到引用复制数据活动源的方法。

假设复制数据的来源有列Id，我需要将该列的最大值传递给 SP 接收器。max(@Source.Id)有没有办法在 SP 的参数值字段中做类似的事情？

运行调试会话所需的最低权限是什么？我们删除了数据工厂贡献者，因为我们希望禁止所有开发人员发布到开发实例，如最佳实践中所述。

只应允许选择一组人向工厂发布。为此，他们必须在工厂所在的资源组中具有数据工厂贡献者角色。

但是，此页面没有说明运行调试需要哪些权限，并且在尝试调试管道时出现以下错误：

相关文档问题：https ://github.com/MicrosoftDocs/azure-docs/issues/58517

当我尝试在 azure 数据工厂中创建任何链接服务时，我收到错误消息。“无法获取存储帐户密钥。无法读取 null 的属性‘切片’”

请您帮忙解决

我对 Azure 数据工厂非常陌生。我想知道如何使用 ADF 将数据从 Teradata 多个查询（大约 6 个自定义查询）复制到 Blob 容器中的 .csv 文件。

我参考了文档，但我可以从表中复制数据，而不是从多个自定义查询中复制数据。如果你能给我一步一步的指导，那将对我学习有很大帮助。

谢谢！！

我有一个 ADF 数据流，它输出 2 组值（名称、位置），如下所示：

有没有办法通过 ADF 数据流输出每个位置的名称计数？

我们一直致力于大型迁移项目，其中包含近 50K 工作项，包括我们的 Azure Devops 服务中的需求、文档、用例、测试用例、错误、问题等。作为 BI 开发人员，我们希望为整个组织中的所有团队创建一些通用仪表板，以获取可见性和洞察力以做出决策。最初，我们使用 Power BI Advanced Functions（M Query 等）从 WIT Analytics 模型中提取数据，并在 Power BI Premium Service 上创建数据集。现在，我们希望将所有数据直接推送到 Azure SQL 数据库，以进行数据保留和快照。我们有不同的方法可以做到这一点。

1. Power BI Advanced Functions、ODATA Feed（ADF 中不支持）、REST API（记录数限制）

不幸的是，每一种方式都有它的缺点。将每小时/每天的数据从 Azure Devops 服务提取到 Azure SQL 数据库的最佳方法是什么？

任何帮助或指示将不胜感激。

我有一个 ADF 数据流，其中包含如下所示的过滤器：

我需要在过滤之前设置一个参数并设置一个条件，并根据该条件它应该或不应该执行过滤步骤。

例如，参数 = 环境

如果 environment = non prod，则进行过滤器转换

否则，如果 environment = prod，则跳过过滤器转换。

有没有办法通过 ADF 数据流添加这个参数和条件？

更新：

我添加了一个参数如下：

我添加了一个条件拆分如下：

当 environment = prod 时，这不会跳过过滤器转换。我错过了什么吗？

我使用 until 活动按顺序复制文件。为此，我创建了一个变量并赋值为 0，并将其与数据湖中可用的文件数进行比较。直到活动中使用的表达式检查变量值是否大于文件数，直到变量值大于文件数，循环执行。如果在数据湖中未找到文件，则变量值将设置为 1，文件数将为 0。但发生的情况是，即使变量的值为 1 且文件数为零，直到活动活动试图执行内部活动。有什么解决办法吗？用于设置变量值的条件activity：@equals(activity(lookup).output.firstrow.NumberOfFiles,

如果有任何建议，将非常有帮助

问候，桑迪普