问题标签 [azure-data-factory-2]

有没有一种方法可以在 Azure 数据工厂中创建一个触发器，如果​​它尚未运行，它只会启动我的管道？我基本上想连续运行管道，因此无论出于何种原因它完成（失败/成功），我都希望它尽快恢复。

我使用 C# 和 Azure SDK 创建了带有复制活动的 Azure 数据工厂。如何使用 CI/CD 部署它？

任何网址或链接都会有所帮助

我是 Azure 数据工厂的新手。我的问题是，我需要将数据从本地 Oracle 和本地 SQL Server 移动到 Blob 存储。数据需要转换成 JSON 格式。每行作为一个 JSON 文件。这将被移至事件中心。我怎样才能做到这一点。有什么建议么。

我们有 Azure 数据工厂 v2 管道，它使用启用的 polybase 将数据从 Azure SQL 数据库传输到 Azure 数据仓库。

源表包含 null 十进制值，但当 ADF 尝试处理 null 值时，它会给出错误：

,Errors=[{Class=16,Number=107090,State=1,Message=Query aborted--从外部源读取时达到了最大拒绝阈值（0 行）：在处理的总共 1 行中拒绝了 1 行。 \n(/24b40621-2542-4406-8f32-7854fe030292/Polybase/data_24b40621-2542-4406-8f32-7854fe030292_b592f424-dd7b-47af-925f-a2934aea4b67.txt)列序数:18,C 3 DEIMAL )，违规值：\u0000\u0000\u0000\u0000\u0000\u0000\u0000\

我们可以通过在源查询中使用 ISNULL(COLUMNNAME, 0) 轻松解决此错误，但我们不想这样做。

在 Azure 官方反馈站点上，这个问题似乎早就在审查中了。 https://feedback.azure.com/forums/307516-sql-data-warehouse/suggestions/10600192-polybase-fix-file-format-type-default-for-decima

在这个页面上它说

https://azure.microsoft.com/en-us/pricing/details/data-factory/

如果我正确理解这一点，例如，如果我进行一个读取包含文本的 blob 然后将该文本放入 sql 数据库的活动，那么每 1000 次运行将花费 0.55 美元吗？那是非常昂贵的。

请注意，通常一个管道中可以有多个活动。

因此，如果我从 azure 存储帐户读取 blob，将其放入 sql azure，然后发送电子邮件，您已经有 3 个活动。

在 azure function 中，我每百万次执行支付大约 0.20 美元，每 gb 每秒支付 0.000016 美元。（这意味着如果我在内存中有 1 gb 照片 2 秒，我支付 0.000016 x 2 = 0.000032。

定价是巨大的还是我错过了什么？

我是使用 azure 数据工厂的新手，我正在尝试设置一个管道，从 API 获取特定时间范围内的数据。到目前为止，我一直在做的事情是：我为 API 调用创建了一个翻转窗口管道，以将数据作为 JSON 文件引入并存储在具有特定时间戳的 ADL 文件夹中。问题是我只想要当前日期和时间的数据并存储在该特定文件夹中，例如年/月/日/小时/ json 文件我如何告诉 URL 只是在触发器被激活的小时内获取数据（触发器是设置为每个整小时，需要从例如凌晨 3 点到 3:59 获取数据。我能够从特定时间戳获取数据，但不能从当前时间获取数据，这将与触发时间相关联。URL 代码：?sourceId=1LuOA,9VKZ2,CISG1 ,D7UIQ,gu4me,hSZGT,K582n,MnkPP,Mxgt4,N4hAZ,PvECt,Qhr1i,uIWnW,vot1K,XAbJ4,XRH1E,ZbKW0,Zjrs3,ZttLo&

水槽代码：

当我尝试添加小时数时，我得到一个不代表小时数的奇怪文件夹。

我能够使用时间戳将数据从源 Azure MSSQL DB 增量加载到接收器 Azure MSSQL DB。出于某种原因，我希望使用源数据库中的增量 id 而不是时间戳来增量加载数据。这可能吗？

我每天只需要运行一次复制数据活动。因此，我还想将每个复制数据活动的批次 ID 存储在 batch_details 表中。

我正在使用 ADF v.2

我是天蓝色的新手，我该怎么做？

我正在研究使用 azure 数据工厂从不在 Amazon 托管的 S3 存储桶中复制文件。我们当前使用的解决方案包括一些天蓝色函数、一个逻辑应用和一个 Web 应用。使用 azure 数据工厂，这应该更简单，更易于维护。

我研究了可以为 Amazon S3 链接服务提供的属性。

但我没有在文档中看到设置不同主机的属性。

我的问题是，这可能吗？

我正在使用 ADFv2，我想使用在数据集级别定义的一些可选参数。我没有发现是否可以实现。

如果我在数据集中定义一个参数（在管道级别定义一个参数并将两者连接起来以便管道将值传递给数据集级别的参数之后）当我手动运行管道并且不指定我得到的值错误

我目前正在努力使用 Azure 数据工厂 v2 如果活动总是失败并显示此错误消息： 在此处输入图像描述

我设计了两个独立的管道，一个从本地 SQL Server 获取数据的完整快照（1333 条记录）并将数据加载到 Azure SQL 数据库中，另一个只从同一源获取增量。

两个管道在独立执行时都能正常工作。

然后我决定将这两个管道包装到一个父管道中，该管道将执行此操作： 1. 执行 LookUp 活动以检查 Azure SQL 数据库中的目标表是否有任何记录，基本 Select Count(Request_ID) As record_count From target_table - 活动有效好的，我可以预览返回的记录数。

2. 将 LookUp 活动的输出传递给 If 活动，条件是如果 record_count = 0，则父管道将调用完整加载管道，否则父管道将调用增量加载管道。

这是实际的表达式：
{@activity('lookup_sites_record_count').output.firstRow.record_count}==0"

每当我尝试执行此父管道时，它都会失败并显示上述消息“活动失败：活动失败，因为内部活动失败”。

内部活动，即满载和增量加载管道，在独立触发时工作得很好。

我错过了什么？

提前谢谢了 ：）。

米哈伊格

Pipeline 的 JSON 定义如下：

}