问题标签 [azure-adf]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
99 浏览

odata - 数据工厂中的 OData

我的任务是从外部供应商那里获取一些数据。他们有一个 Rest OData API。我必须使用订阅密钥(APIKey)进行连接。创建 OData LService 时,我添加了一个 Auth Header:“subscription-key”,并在 Value 字段中输入我的密钥。保存后,我创建了一个新数据集,OData LinkedService 为我提供了远程表。我可以选择我想要的表,然后创建一个管道以将数据从该表复制到我的 Azure SQL 服务器。

这太棒了:-) 但是,在关闭我的浏览器并重新打开它之后,我之前在链接服务上输入的订阅密钥现在被替换为星号,因为它是一个安全字符串。当我现在运行我的管道时,它会认为我的密钥是替换了我的真实密钥的十颗星。

我在这里做错了什么?

此外,我更愿意从 KeyVault 获得我的价值,但似乎这在 ODat 连接上是不可能的......

希望有人能够在这里提供一些见解:-)

汤姆

0 投票
0 回答
15 浏览

terraform - 无法使用 terraform 模板为管道上的变量设置类型 - Azure ADF 管道

在 data_factory_pipeline 上,如何设置管道变量的类型。在下面链接给出的示例中,它只有字符串值。像这样的东西:

https://registry.terraform.io/providers/hashicorp/azurerm/latest/docs/resources/data_factory_pipeline 1

尝试使用此处描述的示例设置类型:https ://learn.hashicorp.com/tutorials/terraform/variables 。但是,它没有用。它一直抱怨说,字符串是必需的。

有任何想法吗 ?我在这里先向您的帮助表示感谢。

0 投票
0 回答
38 浏览

azure-data-factory - Azure 数据工厂:根据其他表中存在的列更新表

我需要关于以下问题的帮助。请让我知道这是否可以通过 ADF 数据流来实现。您能否使用以下问题陈述提供示例解决方案。

我有两个表:PersonInfo & Control。我只需要为控制表中存在的那些列更新 PersonInfo 表。

人员信息表

检查下面的控制表中是否存在上述列并更新 PersonInfo

控制表:

0 投票
1 回答
62 浏览

azure-data-factory - ADF 仅在将新的 CSV 文件放入源并复制到容器时复制

我想将文件从源复制到目标容器,但前提是源文件是新的(最新文件放在源中)。我不确定如何进行此操作,也不确定检查源文件大于目标的语法。我是否必须使用两个获取元数据活动来检查源和目标上次修改日期并使用 if 条件。我尝试了几种方法,但没有奏效。任何帮助都会很方便

在此处输入图像描述

我用于条件的语法给了我错误

@if(greaterOrEquals(ticks(activity('Get Metadata_File').output.lastModified),activity('Get Metadata_File2')),True,False)

错误信息

函数“greaterOrEquals”期望它的所有参数都是整数或十进制数。发现无效的参数类型:“对象”

0 投票
1 回答
77 浏览

azure - 如何使用 Azure 数据工厂解析 Excel 的每一行

这是我的要求:

  1. 我有一个excel,里面有几列,几行有数据
  2. 我已经在 Azure blob 存储中上传了这个 excel
  3. 使用 ADF,我需要阅读此 excel 并逐一解析其中的记录,并执行在 Azure blob 中创建动态文件夹的操作。
  4. 这需要对 excel 中存在的每条记录进行。
  5. excel 中的每条记录都有一些信息可以帮助我动态创建文件夹。

有人可以帮助我在 ADF 中选择正确的活动集或数据流来完成这项工作吗?

提前致谢!

0 投票
1 回答
130 浏览

azure - 网关在指定时间段内未收到来自“Microsoft.DataFactory”的响应

我正在尝试为我现有的数据工厂配置 git (github)。我收到此错误:

网关在指定时间段内未收到来自“Microsoft.DataFactory”的响应。

0 投票
0 回答
30 浏览

azure - 部署模板验证失败:模板中未定义资源

我正在使用链接的 ARM 模板从一个环境到另一个环境执行 Azure 数据工厂 CI/CD。我在模板的 SSIS IR 部分面临问题。

错误日志

我可以从 R&D 中了解到,由于 VNet 没有在 ARM 模板中定义,但提到了对它的引用,这反映了这个问题。

手臂模板

0 投票
0 回答
4 浏览

azure-data-factory-pipeline - 在 ADF 中复制具有多个模式的单个 csv

您好我正在尝试使用 ADF 和数据流 CSV 文件结构将 csv 文件下沉到数据库,如下所示 r1c1,r1c2,r1c3,r1c4

r2c1,r2c2,r2c3,r2c4

r3c1,r3c2,r3c3,r3c4

r4c1,r4c2,r4c3,r4c4,r4c5,r4c6

r5c1,r5c2,r5c3,r5c4,r5c5,r5c6

所以 2 个模式,一个有 4 列,第二个有 6 列。我的目标是在一个表中复制前 3 行,在第二个表中复制后 2 行。请指导我在 ADF 中实现这一目标。