问题标签 [azure-data-factory-2]

我们希望使用 Azure Data Factory v2 将文件从本地文件服务器增量加载到 Azure Data Lake。

文件应该每天存储在本地文件服务器中，我们必须在白天定期运行 ADFv2 管道，并且只应捕获文件夹中未处理的新文件。

我使用查找和 foreach 活动的组合来遍历数据摄取查询集并执行它们（其背后的原因是一个单独的广泛主题:)）。由于数据源连接到专用网络，因此我提供了一个专用 VM 来运行自托管运行时。在大多数情况下，一切都运行顺利，我可以看到工作进程占用 CPU 和较高的整体 CPU 利用率（这很好）。

但是：有时，当大部分工作完成时，只有 2-3 个活动在排队，我可以看到运行时没有处理并且 CPU 使用率下降到零，事件日志中没有新条目出现。一段时间后（大约 10 分钟）我得到了 30002（下面提供了示例）并且运行时愉快地完成了工作。

示例事件消息：

问题：这种 Azure 数据工厂自托管集成运行时行为的根本原因是什么？这个可以微调吗？

更新 1

在应用程序日志中发现了错误，并且在集成运行时日志中发现了警告。

应用程序日志包含 3 组错误（请参阅下面的事件 [1] 到 [5]），这些错误发生在大约 2 分钟的时间间隔内，不久之后 8 个事件（正是我的工作进程的数量）被记录到集成运行时日志（参见 [6]），紧接着出现“Windows 错误报告”事件。然后我们面临“冻结”。

所以 - 看起来像一个错误:(

“应用程序”日志：

[1]

[2]

[3]：无法打开Server服务性能对象。数据部分的前四个字节 (DWORD) 包含状态代码。

[4]：DLL“C:\Windows\system32\wbem\wmiaprpl.dll”中服务“WmiApRpl”的打开过程失败。此服务的性能数据将不可用。

“集成运行时”日志：

[6]

我正在使用 Azure 数据工厂 V2 来集成来自多个本地 mySql 数据库的数据。是否可以只定义一个 mysql 链接服务，然后在运行时修改连接字符串（服务器名称、凭据、集成运行时）。我的计划是使用查找活动来读取连接字符串列表，然后使用 for-each 活动来迭代该列表，以使用复制活动从每个数据库中提取数据。

是否可以做这样的事情，最好使用 Azure 数据工厂 UI？还是我应该使用 .NET SDK 来做到这一点？

谢谢你

We have a requirement of retry the particular slice after 1 hour if validation failed. I gone through the Azure ADF docs here and got option of longRetry but its not working as expected.

Policy validation in input dataset:-

Long retry in pipeline:-

Summary:- We want to check validation of particular dataset every hour with pipeline having frequency daily once.

Please let me know if am doing anything wrong here.

Thanks

我有个问题。我的 FTP 位置上有一些 .zip 文件，我想解压缩并将它们复制到 ADLS。在文档中对此有明确的解释：

“从 FTP 服务器读取 .zip 文件，将其解压缩以获取其中的文件，然后将这些文件放入 Azure Data Lake Store。您可以将压缩类型 JSON 属性的输入 FTP 数据集定义为 ZipDeflate。”

我试过这个，在我的 ADLS 上我得到了压缩文件。我试图放置文件属性，定义分隔符和东西，并且仍然在数据湖存储中获取压缩文件。我认为这是我定义输出数据集的方式。如果输入数据集是来自 FTP 的 .zip 文件，是否有一些规则如何定义输出数据集。

我有一个额外的 API，我需要使用我的 Python REST 客户端访问它（OAuth 和令牌都是排序的）。但是我想在我的数据工厂中调用这个 python 客户端，因为我想将结果存储到 Azure SQL 仓库中。

关于如何做的任何帮助？

谁能解释一下，ADF V2 中新引入的 Get Metadata Activity 有什么用？

实际上，docs.microsoft.com 中提供的信息不足以理解此 Activity 的用途。

我已经设置了一个 http 文件类型的数据集，其中设置了我的端点或相对 URL。现在的问题是，这个 URL 每天都在变化。

关于如何在不每天登录工厂的情况下自动执行此更改的任何想法？

有几个计算环境可以为我进行转换。我有一个 REST 源，我每天都从那里得到响应，我必须执行一些转换。

https://docs.microsoft.com/en-us/azure/data-factory/compute-linked-services

我很困惑什么是最好的方法？或者换句话说，所有计算环境之间有什么不同，比如我应该何时使用 Azure Batch、存储过程、HDInsight 等？

我想将数据文件从 Linux 机器复制到 Azure Blob 存储。我为此使用 Azure 数据工厂（根据要求）。有人可以帮助我如何安装/从哪里获得集成运行时以安装在该 Linux 机器上。

谢谢