问题标签 [custom-activity]

如何删除源文件夹（位于本地文件系统上）中的所有文件。我需要有关 .NET 自定义活动或 Azure 数据工厂中的任何开箱即用解决方案的帮助。

PS：我确实找到了一个删除自定义活动，但它更倾向于 Blob 存储。
请帮忙。

在我的应用程序中，我开发了自定义活动。当用户单击更多选项时，它会显示活动应用程序列表。在该列表中，iOS 仅显示我的应用程序的名称，图标未出现。如何为此提供图标。

I will start directly with my question: Is it possible to connect to an on Premise Dataset in a Azure Data Factory Custom Activity via Data Management Gateway?

The usecase:

I have a local FTP Server, with multiple files on it, which should be regulary copied to an Azure Blob Storage. The decision which files have to be uploaded should be based on a custom trigger. Therefore I am building a Data Factory custom activity, instead of a normal copy activity. The server should only be accessed via the data management gateway

I created an FTPServer typed linked service, and a FileShare Dataset. This I used inside my CustomActivity Pipeline as Input.

Inside my custom activity, I now want to connect to the input dataset and get the content of a folder inside the ftp server. And here I am not getting forward. I don´t get how to connect to the ftp server. Here is the code element I am stuck at:

There are multiple Gateway classes in Microsoft.Azure.Management.DataFactories.Models but i can´t find a way to work with them. For me it looks like that the data management gateway is maybe not supported for a custom activity? If that is correct, are there some other ways to go, like creating a copy activity inside the custom activity or things like that? Or is the only possible solution a direct connection to the FTP-Server via WebRequest?

我创建了一个 ADF .Net Activity 并返回了new Dictionary(); ，但是当活动失败时，返回相同的字典，显示管道成功。如何通过 .Net Activity 将故障状态返回到 Azure。有可能吗？

我创建了一个 .Net Activity，它具有复制活动（将数据从本地复制到 Data Lake 存储）和 U-SQL 活动（处理数据并将结果存储在 Data Lake Store 中）。

但是使用 U-SQL 处理数据需要表的架构，该架构也需要从本地数据库中复制。

U-SQL 查询：

我必须使用 Azure ADF 自定义活动获取表的架构以及数据吗？

我正在尝试编写一个自定义 .NET 活动，它将从 Azure 数据工厂运行。它将执行两项任务，一个接一个：

1. 它将每天从 FTP 服务器下载 grib2 文件（grib2 是气象数据的自定义压缩）
2. 它将在下载每个文件时解压缩。

到目前为止，我已经设置了一个带有两个节点的池的 Azure Batch - Windows Server 机器，用于运行 FTP 下载。节点正在将 grib2 文件下载到 blob 存储容器。

到目前为止，自定义应用程序的代码如下所示：

到目前为止，我的代码可以正常工作，并且我已将文件下载到我的 blob 存储帐户中。现在我已经下载了文件，我想让批处理池的节点解压缩文件并将解压缩的文件放在我的 blob 存储中以进行进一步处理。为此，使用了 wgrib2.exe，它带有一些 dll 文件。我已经将应用程序包所需的可执行文件和所有 dll 文件压缩并上传到我的池中。如果我是正确的，当每个节点加入池时，这个可执行文件将被提取并可供调用。

我的问题是：如何编写自定义 .NET 活动，以便文件由池的节点下载，并且在下载每个文件后，对每个文件运行解压缩命令以将其转换为 csv 文件？命令行如下所示：

如何获取每个下载文件的名称句柄，如何在节点上处理它并将其保存回 blob 存储？

还有，如何控制同时下载多少个文件，同时解压多少个？

我希望通过活动 json 中的 policy.timeout 属性对数据工厂中的自定义活动施加超时。

但是，我还没有看到任何文档表明超时如何对 Azure 批处理进行操作？我假设批处理任务以某种方式被强制终止。

但是任务-> 自定义活动是否得到通知以便可以整理？

我问的原因是我可能正在中间复制到数据湖存储，我既不想让它无限期运行，也不想在没有某种清理的情况下停止它（我看不到使用数据进行事务的方法湖商店SDK）。

我正在考虑将超时放在自定义活动中，但是将超时定义为 2 个不同级别将是一种耻辱（我可能仍然想要整体超时）。

我正在为数据工厂自定义活动使用批处理服务，但我想使用单独的虚拟机而不是批处理服务。

我正在尝试在 Azure 中创建一个自定义 .NET 活动，该活动创建一个 VM 池和一个作业来处理池节点上的文件提取。到目前为止，我拥有所有这些的代码，但我不确定如何将处理后的文件从节点下载回 blob 存储。我正在运行的可执行文件是带有 dll 的第三方 exe，我无权访问代码。这是我的代码：

此代码使用启动任务为所有节点创建池和作业。将exe、ddls和要处理的文件传递给节点。

我的问题是：如何将处理后的文件放到 blob 存储中？如果 VM 上没有足够的磁盘空间来存储和复制它们，我如何将它们流式传输到 blob？

我IDotNetActivity在工作时正在实施CustomActivity。

我想读取文件夹路径中输入数据集上存在的文件名adftutorial/customactivityinput/abc.txt，更新一些文本，最后将结果复制到输出数据集adftutorial/customactivityoutput/xyz.txt。

在读取文件时abc.txt，我System.IO.FileNotFoundException发生在MyDotNetActivity.dll.

我正在寻找一些可以给我完整路径的方法的帮助，比如<AzureCloutDirectory> + filename.

请告知加载文本文件的最佳方法或方式。

谢谢！