问题标签 [azure-data-factory-pipeline]

我看到其他帖子存在相同类型的错误，但似乎没有解决方案。我收到相同的错误“目标操作将数据复制到目标失败：ErrorCode=TypeConversionFailure，将列名'sourceKey'的值'2150002867256'从'String'类型（精度：255，比例：255）转换为类型时发生异常'Int32'（精度：，比例：）。附加信息：对于 Int32 而言，值太大或太小。”

我的源（突触）列类型（Varchar（249）和目标（Couchbase）列类型是相同的字符串。但不确定值 '2150002867256' 的错误。它是 Synapse 和 Couchbase 之间的 ODBC 连接。并在 ADF 中进行复制活动

如果有人有任何意见，请提供帮助。太感谢了。

在此处输入图像描述

我目前在 Azure 数据工厂中使用一组 CSV 日志文件，我需要对其进行处理并输入到 SQL 表中。

问题是某些列包含时间戳，其中年份由 2 位数字表示（而不是完整的 4 位数字年份）。前任。01/03/17 22:10:33日期格式为MM/dd/yy HH:mm:ss

如何将其转换为日期或将“20”添加到年份？（例如01/03/17 22:10:33会变成01/03/2017 22:10:33）。这在代码中非常简单，但我不确定如何在 Azure 数据工厂的数据流中完成。

编辑：正如@HimanshuSinha-msft 提到的，必须在解析之前删除撇号才能工作。我使用以下内容在数据流中添加了一个额外的步骤：toTimestamp(substring({Column Name},2,length({Column Name})-1), 'MM/dd/yy hh:mm:ss')它起作用了！

我在连接到数据流的 Azure 数据工厂管道中进行了查找。查找以以下形式返回 JSON 数组：

数据流接受字符串数组作为参数。因此，我需要一种方法将数据从查找转换为以下形式的字符串数组：

在我的管道中，查找的输出可用作管道表达式：@activity('GetKeyColumns').output.value。

对于数据流，我可以选择是使用数据流表达式还是管道表达式来传递参数（字符串数组）。数据流表达式具有能够映射数据结构的映射函数。但我不知道如何在这个函数中使用查找的输出。

有没有办法在我的管道中实现这种转变？

我正在尝试进行逻辑测试以比较两个活动输出。第一个是返回一个文件名（来自 GetMetaData）和另一个已经在数据库中的不同文件名（来自查找活动）。

所以第一个活动是给 X.csv（一个 Blob0 中的文件，而第二个是给一个列表 Y.csv；Z.csv（查找的结果选择与表 X 不同）基于这个结果，我会说逻辑测试为真，因此 ADF 必须启动特定活动。我正在使用下面的表达式，但尽管事实上没有错误，但结果总是错误的。我做错了什么？我想这与查找活动，因为查询将给出我认为的值列表。

请帮助提前谢谢！

输出活动 LookupBestandsnaam：

输出活动 GetBlobName：

我对 Azure 数据工厂非常陌生。我使用相同的源表和目标表创建了一个简单的管道。管道应该从源表中获取日期列，将表达式应用于源表中的日期列（数据类型日期如下面的架构中所示），如果日期在last_7_days 列中的最后 7 天或 0 （如在模式中）。

源表和目标表的架构如下所示：

现在，我面临在组件 DerivedColumn 中编写表达式的挑战。我设法用表达式找出了 7 天前的日期：。

总之，这个想法是在目标表中加载 last_7_days 列，如果日期 >= 当前日期 - 间隔 7 天和日期 <= 当前日期，如 SQL 中的值“1”。如果有人可以帮助我，我将不胜感激任何提示和建议。如果您需要更多信息，请告诉我。

仅供参考：源/目标表列日期是静态的，从 2020 年到 2030 年的 10 年日期为 yyyy-mm-dd 格式。ETL 应该每天运行，并且仅将值 1 放入最后 7 天：从当前日期回顾的 last_7_days 列。其他条目必须接收值 0。

我在 Azure 数据工厂有一份工作，它从源表（也是目标表）中获取日期值，在日期值上应用带有“DerivedColumn”组件的表达式，并用输出后的布尔值填充目标表列（last_7_days）表达的应用。我的表很大，所以不能选择截断表，因为我将截断相同的源。我基本上想将值插入或更新到 last_7_days 列。表中的其他数据将保持静态，不会更改。由于我是 ADF 的新手，因此将不胜感激。

在表达式实现后，数据预览也给了我正确的值：

我的主要目的是在执行表达式后用这个值填充目标表。我的水槽是这样的：

我将不胜感激任何提示或建议。非常感谢你的帮助。

我需要从 Azure 上的 PostgreSQL 复制一个数据库。我想在 ADF 中执行此操作。在我指定源数据库和目标数据库时的复制数据活动中，ADF 还希望我指定表名。当我想复制大约有 100 个表的数据库时，这没有任何意义。我在动态条件下尝试了通配符 *，我试图将表名留空。

我真的需要为每个表创建每个 copydata 活动吗？

我是 azure datafactory 的新手，正在构建一个管道，该管道从 blob 存储复制一个大型 xml 文件并更新 SQL db 中的一个表。是否可以根据子元素中的值跳过父元素从更新到 SQL？xml 结构相当简单，我知道我可以使用 xslt 对其进行转换，但想知道是否可以将此逻辑直接包含在管道中？

下面是一个xml结构的例子：

每个父母都是表格中的一行，我不想在 child1 为空白的地方插入行。所以在这个例子中，表格必须只包含第一个和第三个父元素作为行。

我正在 Azure 数据工厂中实现 azure devOps。

我的开发环境 ADF 已集成到 git 存储库。

我创建了一个构建管道，用于在 adf_publish 分支发生更改时构建工件。

我的下一步是将 ARM 模板工件部署到 PROD 环境。

假设在将 DEV 更改部署到 PROD 时，PROD 环境中有许多触发的管道，而 PROD 环境中运行的管道很少。

我的问题是：

1. 如何将更改从 DevOps 部署到 PROD 环境？它会删除和替换 DevOps 中的所有管道和触发器，还是只选择更改并更新 PROD 环境而不触及未更改的管道？
2. 假设一个管道在部署时正在 PROD 环境中运行，那么该管道运行会发生什么？
3. 假设在 3:00 点有一个触发管道，部署在 2:55 开始，在 3:05 结束。应该在 3:00 运行的触发管道会发生什么？

任何人对上述问题有明确的想法或是否有任何文件可供参考以获得这些问题的答案？

我Keeping deployment mode as Incremental instead of keeping it as Complete在ARM模板部署的时候经历过。该选项会完成我上面要求的所有任务吗？

我正在尝试借助以下简单命令获取数据工厂管道信息：

但是，我收到此错误。我还将我的 Az.Data Factory 模块更新为最新的。

请提出您宝贵的建议来解决这个问题？