问题标签 [azure-adf]

我有 Azure ADF 和 Postgres 服务器，我想将 ADF 连接到 postgress。

目前我正在生成令牌以连接到 Postgres 服务器。我正在使用相同的令牌使用 ADF 进行连接。令牌的问题是，它会在 1 小时内过期，因此不是生产环境的最佳解决方案。

我的其他选择是使用具有用户名和密码的本地用户，但是这是一个安全风险，所以我还不想使用该选项。

有没有办法可以在 ADF 和 postgres 之间配置托管身份，这样我就不需要每 1 小时生成一次令牌？

我必须从具有不同架构的 blob 容器中的文件夹中读取 10 个文件（表 macthes 中的大部分架构）并将它们合并到一个 SQL 表文件中 1：假设有 25 个这样的列

文件 2：文件 2 中的某些列与文件 1 中的列匹配

文件 3：

输出：一个sql表

如何在 Azure 数据工厂中设置管道以将这些列合并到单个 SQL 表中。

我的方法：获取元数据活动--->每个子项---复制活动

对于映射---我构建了一个 json，其中包含这些文件中的所有源/接收器列

我正在开发一个简单的 Azure 数据工厂管道，我只是添加了一个批处理服务并在其中指定了批处理服务帐户（我通过链接服务创建了该帐户并测试了连接是否正常工作）。在命令中，我只是运行一个简单的“ls”命令，当我进行调试运行时，我收到此错误：“除非使用帐户密钥凭据，否则无法创建共享访问签名。” 我有以下链接服务“Azure Batch”、“Azure Blob Storage”和 Key Vault（我们存储访问密钥的地方）。所有链接的服务连接都正常工作。

有关如何修复此错误的任何帮助：“除非使用帐户密钥凭据，否则无法创建共享访问签名。”

Azure Batch 链接服务：

Azure 存储链接服务：

Azure 数据工厂管道：

我在 ADF 中参数化链接服务（SQL 服务器），但无法将不同服务属性的参数重用为动态内容。

我为 SQL Server 属性创建了更多参数：

• 服务器名称
• 环境
• 数据库名称
• 数据库用户名

Key Vault 用于存储属性的敏感信息，其中创建的 Secret 名称类似于“POC-USER-MYDOMAIN-MYUSER”。

链接服务的 DBUserName 参数包含一个 Windows 登录，如“MyDomain\MyUser”。我将 DBUserName 参数用于属性“用户名”和存储在 Key Vault 中的密码。

属性“用户名”具有此动态内容“@{linkedService().DBUserName}”，Key Vault 机密名称具有此动态内容“@{linkedService().Environment}-USER-@{replace(linkedService()。 DBUserName, '', '-')}"。

联动服务

执行“测试连接”时，我使用以下参数：

参数

并且“测试连接”返回此错误：

错误

我可以让它工作，如果我创建一个名为“DBUserNameCopy”的新参数，从“DBUserName”复制值。然后更改属性“用户名”或属性“Key Vault 机密名称”动态内容以使用新参数。并执行“测试连接”：

双参数

因此，这两个属性动态内容工作正常，但前提是它们不共享一个参数。

我尝试了不同的方法来避免此错误，但最终得出的结论是：如果您使用替换功能，则不能在更多属性中使用相同的参数（我不知道它是否与所有功能有关）。

有谁知道如何让它工作？

我在 oracle 数据库连接的链接服务中创建了一个参数，并希望将参数的值获取到所有数据集，我为每个表创建了数据集，并希望从链接服务中获取 oracleSchemeName 参数，在我的场景中架构名称会根据环境而改变，所以我将架构名称作为参数传递，但是当我尝试读取链接服务的值时，我收到错误表或视图不存在。

有人可以指导我如何在这里提供表达吗？{@linkedService().oracleSchemaName}——不工作。

下面是数据集的截图

如何使用 Azure 数据工厂活动计算 JSON 文件中所有列的数量？如何使用 Azure 数据工厂活动展平 JSON 文件中的完整对象（所有列）？

我有文件名 SMP_ACC_STG_20210987654.txt 和另一个文件名 SMP_ACC_STG_BS_20210987654.txt。我可以使用@substring(item().name,0,11) 并且我得到第一个文件的 SMP_ACC_STG 是正确的，但是对于第二个文件我需要将文件名作为 SMP_ACC_STG_BS 并且它返回与第一个文件相同的文件名，因为我已经对子字符串中的长度。我尝试使用 indexof 但它没有给我预期的结果。

我需要提取 _20210987654.txt 之前的文本并将其用作文件名。

我想在将 .mp4 文件从 Azure 存储（blob）复制到 Sftp 时排除它。以下是我的来源设置

Microsoft ADF 有一组 api 来获取管道运行的状态。

参考：https ://docs.microsoft.com/en-us/rest/api/datafactory/pipeline-runs/get

在响应中，有一个名为 的属性message。

message | string | The message from a pipeline run.

如何在管道中设置此属性？

在 Azure 数据工厂中，如何检查字符串（文件名）数组是否包含值？

我从获取元数据活动中获取文件名，我需要在继续之前检查我拥有的所有 4 个文件名是否在存储帐户中可用。

我希望存储帐户中有 4 个文件，我需要检查所有 4 个文件是否都可用。我需要明确检查文件名而不是文件数 - 这是一个要求

当我尝试使用 get meta data 中的子项对其进行验证时，出现错误"array elements can only be selected using an integer index."这里的问题是该文件可能出现在下一次加载的任何索引处

有没有更好的方法来验证文件名？

感谢您的帮助，在此先感谢