问题标签 [azure-data-flow]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
166 浏览

azure-data-factory - DataFlow 无法读取存储在 Blob 存储中的 API 响应 json 文件

json 结构数据流无法读取存储在 blob 存储中的 API 响应 json 文件,如果手动将文件放置在同一位置它可以正常工作,但是对于 json api 响应数据流说文件损坏?在数据集中我可以预览文件,但在数据流中它不起作用。

0 投票
1 回答
56 浏览

azure - 哪些任务可以“复制”/“复制” Azure 数据流中的某些行?

我需要在 Azure 数据流中的 CSV 文件的数据集中“复制”/“复制”某些行。

以 300 开头的每一行我都需要“复制”/“复制”以创建第 350 行。

例如,如果我的输入是:

100个

200 b

300摄氏度

100天

200 e

300 英尺

然后我希望我的输出是:

100个

200 b

300摄氏度

350摄氏度

100天

200 e

300 英尺

350 英尺

这在数据流中可能吗?

0 投票
2 回答
409 浏览

powerbi - 我们可以在映射数据流中创建动态日期表吗?

我在 Power BI 中有一个带有两个参数的查询:开始日期和结束日期。每当我传递这些日期时,它都会返回一个日期表,其中包含根据此日期范围创建的几列,例如日期、季度年、年、月名……等。我们可以在 ADF 中创建一个以两个参数为输入并根据提供的日期返回计算表的映射数据流吗?有没有返回日期范围的函数?

0 投票
1 回答
302 浏览

azure - 是否可以将 Azure 数据工厂管道 runid 添加到 Azure 数据流?

在我的 ADF 数据流中,我想将管道 runID 添加为一列。无法在数据流中添加引用管道 runId 的动态值。

还有其他方法可以实现这一目标吗?

0 投票
1 回答
265 浏览

azure - 如何在条件拆分运算符中验证 Azure 数据工厂映射流中的日期字段

进入我的流程的源日期字段看起来像 YYYY-MM-DD 格式的常规日期。我想使用条件拆分运算符来验证是否可以将特定列转换为日期列。

我试图使用这样的东西:

但它没有按预期工作-> 它拒绝每一行....

你能帮我吗?

0 投票
1 回答
367 浏览

dynamic - ADF DataFlow Activity 如何创建动态派生列

我已输入固定宽度的 txt 文件作为源。

下面的测试文件示例

列_1
12ABC3455
13XYZ5678

如何构建动态列模式以生成派生列。

列名:empId -> 子字符串(column_1,1,2)

导出列设置

我可以在表达式中对 & substring(column_1,1,2) 中的 empid 进行硬编码。

但我需要使用 JSON 输入使其动态化,以派生具有列模式的动态派生列。

下面的示例 JSON 输入参数。

我的输入 JSON 格式参数

帮助我使用 json 输入构建列模式

0 投票
2 回答
847 浏览

azure-data-factory - 如何从 sql server 表导出到 Azure 数据工厂中的多个 csv 文件

我在 sql server 中有一个简单的 clients 表,其中包含 2 列 - client name 和 city。在 Azure 数据工厂中,如何将此表导出到多个 csv 文件,每个文件将仅包含来自同一城市的客户列表,这将是文件的名称

我已经尝试并成功使用lookup 和 foreach将其拆分为不同的文件,但数据仍未被城市过滤

有什么想法吗?

0 投票
1 回答
358 浏览

azure - Azure 数据流 - 我们可以为 Unpiovt 功能设置动态列或更改预测吗

excel 由 62 列组成,7 列是固定的,其余列与一年一样有几周(第 1 周到第 52 周)

我已经使用数据流任务将 53 列取消透视为具有 2 个额外列年份和值的行。问题是我有 52 周的列名在每周数据加载时不断变化,以及如何处理数据流中列名的这种变化。对于单次运行,它给出了准确的输出

在此处输入图像描述

在此处输入图像描述

在此处输入图像描述

在此处输入图像描述

在此处输入图像描述

0 投票
0 回答
59 浏览

azure-data-factory - 数据流接收器在每个文件夹位置生成零字节文件

在我当前使用的数据工厂之一中,数据流接收器在每个文件夹位置生成文件。

假设我想在 Folder1/Folder2/ 位置生成一个 csv 作为 MyData.csv。它确实在 Folder1/Folder2 位置生成 MyData.csv,但另外它在每个文件夹位置生成零字节文件。所以我的层次结构如下所示

在旧数据工厂中,我没有遇到上述问题,我检查了数据集并链接了服务连接。一切都是一样的。还检查了存储帐户是否有问题,但是使用相同的存储帐户但不同的数据工厂,问题仍然存在。请提出建议

0 投票
1 回答
120 浏览

sql - Azure 数据工厂:数据流中的简单 SQL 查询不返回任何内容

我正在 Azure 数据工厂中试验数据流。

我有:

  1. 将 LinkedService 设置为 SQL Server 数据库。这个数据库只有 2 个表。
  2. 这两个表称为“dummy_data_table1”和“dummy_data_table1”,并注册为数据集
  3. ADF 正在从这 2 个表中复制数据,在数据流中它们被称为“source1”和“source2”

但是,当我选择一个源,转到源选项,并将输入从表更改为查询并输入一个简单查询时,它返回 0 列(dummy_data_table1 中有 11 列)。我怀疑我的语法错误,但我应该如何更改它?

希望这个屏幕截图会有所帮助。 在此处输入图像描述