问题标签 [azure-data-factory-2]

我的数据工厂 V2 管道从 Azure blob 导入 CSV 文件。

数据工厂 V2 中是否有任何方法可以自动读取从中获取 CSV 文件的容器的名称？我搜索将它们交给 Microsoft SQL Server 和/或将它们保存在流式 CSV 数据本身中。

我正在尝试创建一个主管道，它将检查子管道是否必须使用数据库中的配置运行。子管道的名称是主管道的参数。我们想使用传递给项目的参数选择管道名称以执行管道活动。最终目标是，如果我们已经检索到数据，我们不希望再次从源中获取数据。如果整个 ETL 过程中出现任何错误，我们希望避免运行已经完成的管道。

我试图避免创建自定义活动，因为它需要 Azure Batch 帐户。

有任何想法吗？

在 Azure 数据工厂 v2 中创建按需 HDInsight 群集时，是否可以运行自定义脚本操作（或安装 python 包）？

在 Azure 数据工厂文档中，自定义脚本操作未列为可用参数。

我们可以在执行管道的“调用管道”字段中使用表达式吗？

基本上我有 SQL 数据库中的管道名称列表，我想在 ADF V2 的 ForEach 活动中执行管道。因此，如果我们可以以某种方式设置变量并可能在 Invoked Pipeline 字段中使用它！此字段与现有管道名称一起下拉。

我正在尝试使用 Azure 逻辑应用程序处理 AAS 表格模型并尝试读回状态。我可以手动使用 refreshId 来做到这一点。

https://docs.microsoft.com/en-us/azure/analysis-services/analysis-services-async-refresh

任何想法我将如何在天蓝色逻辑应用程序中动态检索最后一个 refreshId？

在此处输入图像描述

用例

我们有一个本地 Hadoop 设置，并且我们使用 Power BI 作为 BI 可视化工具。我们目前在 Powerbi 上获取数据的工作如下。

1. 将数据从本地复制到 Azure Blob（一旦数据在 Hive 中准备好，我们的本地计划就会执行此操作）
2. 然后将 Azure Blob 中的数据复制到 Azure-DataWarehouse/Azure-SQL
3. Azure AAS 上的多维数据集刷新，AAS 从 Azure DataWarehouse/SQL 中提取数据

为了执行第 2 步和第 3 步，我们目前正在 Azure 上运行一个 Web 服务器，并且端点被配置为采用一些参数，例如表名、Azure 文件位置、多维数据集信息等。

示例 http 请求：

http://azure-web-server-scheduler/copydata?from=blob&to=datawarehouse&fromloc=myblob/data/today.csv&totable=mydb.mytable

在这里，Web 服务器从变量（from、fromloc、to、totable）中提取值，然后它们执行复制活动。我们这样做是因为我们有很多表，并且都可以重用相同的功能。

现在我们的用例堆积如山（重试、控制流、电子邮件警报、监控），我们正在寻找一种云替代方案来为我们完成调度工作，我们仍然希望访问像上面这样的 HTTP 端点。

到目前为止，我们已经检查过的替代方案之一是 Azure 数据工厂，其中创建管道以实现上述步骤并使用 http 端点触发 ADF。

问题

1. 我们如何从 http post 调用中获取参数并将其作为自定义变量 [1]，这是管道中所必需的，以便我们仍然可以为每个步骤编写一个函数{2, 3}，并且该函数可以获取这些参数，我们不想为每个表创建一个 ADF。
2. 我们如何检测 ADF 步骤中的故障并在故障期间发送电子邮件警报？
3. 除了 ADF 之外，还有哪些其他选项可以在 Azure 中执行此操作？

[1] https://docs.microsoft.com/en-us/azure/data-factory/control-flow-system-variables

我有以下情况。我需要检查某个文件是否存在于 ADLS 中。如果不是，我必须发送一封电子邮件通知这种缺席。如果它在那里，请继续复制它。所有这些都使用 ADF 中的管道。

我正在考虑使用 u-sql 代码生成输出参数，例如标志（1/0）。在以下活动中，使用“IF”条件活动，检查它是否存在（1）或不存在（0）？复制或发送电子邮件。

如何从 u-sql 活动创建这样的输出参数，并将其“传递”给以下活动？

如何修改 ADF 管道中声明的全局参数的值？

假设我需要检查 ADLS 中的文件是否存在。我声明了一个布尔全局参数，但根据我在 U-SQL 活动中的逻辑，我需要修改它的值。我怎样才能做到这一点？

谢谢！！！

使用 Azure 数据工厂 V2 运行 U-SQL 脚本时遇到问题。脚本使用外部数据源 - Azure SQL DB：

当我直接在 DLA 中运行脚本时，它可以正常工作。但是，当 ADF 执行脚本时，它会失败并出现错误：

{“errorCode”：“2703”，“message”：“错误 ID：E_CSC_USER_CREDENTIALSECRETNOTFOUND，错误消息：找不到凭据“AmplitudeDB.BIAzureSQLDBCredential”的机密信息}

没有外部数据源的脚本工作正常。我的 ADF 帐户在 Data Lake Analytics 中具有贡献者角色。我该如何解决这个问题？

As mentioned in the below link, I am triggering Lookup first. It gives me Email Ids and then for each of the email id, I am invoking the POST request.

Iterating Through azure SQL table in Azure Data Factory

I have mentioned @pipeline().parameters.tableList in the items in the settings of the For each. And I after for each I have set an email notification to check the output of @pipeline().parameters.leadList. I am getting it correctly so far so good.

But when i am using @item() it is returning me null.

I am confused why @item() giving me null even though @pipeline().parameters.leadList in child pipeline giving me correct value?

And I followed this approach: https://docs.microsoft.com/en-us/azure/data-factory/tutorial-bulk-copy-portal

Parent pipeline

**

Child pipeline