问题标签 [azure-data-flow]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
118 浏览

azure-data-flow - Azure 数据工厂数据流表达式生成器

尝试使用查询从源中提取数据:

声明的参数和分配的值都为:

但是,错误

看起来很麻烦!

0 投票
0 回答
53 浏览

azure - Azure 数据流 - 动态构建嵌套对象

用例似乎很简单,但我找不到任何方法来实现它。

假设我有多个输入文档,如下所示:

所以假设字段的名称是完全动态的。数据将来自多个 csv 文件。

目标是利用 CosmosDB 并将这些文档插入到单个集合中:

我一直在尝试找到一种attributes: { fieldA: 1, fieldB:1 }使用数据流和Derived Column来表达这部分的方法。是否有任何变量将整个输入表示为一个对象?像$$ROOTMongoDB 的聚合框架这样的东西会很棒。我也尝试使用表达式,但找不到任何好的示例来演示如何将此表达式的输出处理为嵌套对象。

0 投票
1 回答
47 浏览

azure-logic-apps - 在一组嵌套的逻辑应用程序中,是否有可能将错误冒泡?

我们有一个父逻辑应用调用子逻辑应用,子逻辑应用又可以根据场景调用其他子逻辑应用。父逻辑应用实际上只是用于编排。

有时,一个嵌套/子逻辑应用会失败,但父逻辑应用会显示为成功。是否可以将错误冒泡到父逻辑应用程序?

0 投票
1 回答
573 浏览

azure - 如何在azure数据流中处理excel

我在 blob 存储中有多个 excel 文件,并且这些文件中的工作表名称不同,同时在 azure 数据流中加载 azure sql 数据库中的文件时如何处理工作表名称。注意:我必须在 azure 数据流中执行,我尝试在 azure 管道中执行它的工作

0 投票
2 回答
323 浏览

azure - 如何将数据从数据流活动传递到 Azure 数据工厂 v2 中的其他活动

我已经从数据流活动中的数据中提取了一个最大日期,但是,我无法将其传递或将其设置为变量,以便其他活动可以使用相同的值。请建议如何完成。

最大日期 - 数据流活动

0 投票
0 回答
217 浏览

azure-data-factory - 如何在 Azure 数据工厂中将字符串值解析为 JSON 对象

我有一个包含 JSON 数据的数据源 blob。

其中一个条目(嵌套了几个对象深)是一个更 JSON 的数据,我上游的某个人在生成 blob 的 C# 软件中调用了 toString() 函数。

我需要来自该字符串内部对象的数据,但与 Kusto 查询不同,我可以调用“parse_json()”,但我不知道该怎么做。

谁能帮我?

我的一个例子如下:

object1.stringContainingJSON.criticalData1 为了进一步解释,我需要提取“stringContainingJson”中的数据, 以便我可以访问它 object1.stringContainingJSON.criticalData2

0 投票
1 回答
67 浏览

azure-data-factory - 是否有根据 Azure 映射数据流中的连续性对中断序列进行分组的规定

我想使用 Azure ADF 映射数据流根据其连续性对中断序列进行分组。

以下是 blob 文件示例:

在此处输入图像描述

如上所示,有一个主键列和一个包含中断序列的列,我想创建第三列(预期输出)来分组一个序列。

由于 1,2,3 是第一个序列,它的值为 1,而 9,10,11,12 是下一个序列,其值为 2,依此类推。

0 投票
0 回答
495 浏览

azure - 如何从 azure 数据工厂数据流向 azure sql 数据库插入哈希值

我有一个 sql DB,它将哈希值存储在二进制数据类型的列中。我在我的 sql 存储过程中使用 shah256 算法的 sql hashbytes 来查找哈希值并存储在数据库中。我想在 Azure 数据工厂中复制相同的内容。我在数据流的派生表达式中看到了 sha2(256) 算法,我正在尝试利用这个函数。但这会返回字符串,我正在尝试将其转换为二进制并使用接收器活动插入到 sql 数据库中。但我收到以下错误。

希望我已经详细解释了我的问题,任何帮助将不胜感激。提前致谢。

0 投票
0 回答
72 浏览

azure - ADF V2 显式映射

我需要在 Copy Activity 中进行一些显式映射,我们不能使用 Flows。是否有任何文件描述了表格翻译器在映射中的工作方式?我需要在 Sink 数据的映射中做一些基本的表达式。

我已经用谷歌搜索并找不到任何关于此的内容。谢谢迈克

0 投票
1 回答
774 浏览

date - 如何在 Azure 数据工厂数据流中添加日期范围

工作信息

我有两个不同的数据集源,所以我在数据工厂中创建了一个数据流,其中对于第一个数据(A)集我正在做一些转换并加载到接收器中,在另一个数据集(B)中同样正在执行一些转换和加载到另一个水槽。

问题

现在我有一些要求,其中第一个数据集(A)中有日期列 DT_COLUMN_A(11-04-2020 01:17:40) 需要与日期列 DT_COLUMN_B(01-01-2020 16:32 :00) 在第二个数据集 (B) 中,并将比较的输出作为列存储在第二个数据集 (B) 中。

所以我需要数据集 A 中日期列的最小值和最大值(日期范围),将其应用于数据集 B 的日期列的最小值和最大值,并找到在 A 和 B 中匹配的日期,如果不匹配 NO,则将其存储为 YES .

代码方法思想

需要的逻辑:

if(min(DT_COLUMN_A) and max(DT_COLUMN_A) == min(DT_COLUMN_B) and max(DT_COLUMN_B) then YES else No.

我试图在 ADF 数据流中实现这一点,但无法做到。