问题标签 [azure-data-factory-2]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
702 浏览

azure - 使用 azure 数据工厂将数据从 sql-server 提取到 azure blob 的 azure 管道中的问题

对象 ID 为“abcabcabcabcabc”的客户端“abc@abc.com”无权在“/subscriptions/abcabcabc/resourcegroups/abc-01-east/providers/Microsoft”范围内执行“Microsoft.Resources/deployments/write”操作.Resources/deployments/publishing-123123123123'

我正在尝试使用 azure 数据工厂创建管道以将数据从 sql-server 提取到 azure blob,但是当我尝试使用我的 azure 门户中已经存在的集成运行时时遇到了上述问题。

目前我有分配给我的数据工厂贡献者角色,我应该有哪些其他角色来避免这个问题?

0 投票
1 回答
401 浏览

u-sql - U-SQL 获取输入的文件名并用于输出

我有一个 test.csv 的文件名,我希望输出是 test.txt。

我可以提取输入的文件名,但不知道如何将其用于输出?

文件名在@result 中。

目前尚不支持此功能。

有人有工作吗?

U-SQL 如何获取正在处理的当前文件名以添加到我的提取输出中?

理想情况下,我想要 dd-mm-yy-test.text?

如何添加日期月份和年份?

我为此使用 USQL。

谢谢

0 投票
1 回答
134 浏览

azure-data-factory-2 - 使用 Azure 数据工厂中的存储过程转换数据

我正在尝试使用 Azure 数据工厂 v2 编写管道。数据来自 Azure 表存储,然后我需要通过从 Azure SQL 检索更多数据来对其进行转换,然后需要将其发送到另一个 SQL 数据库进行插入。

我想到的是使用:

从表存储查找 -> 对于每一行 -> 执行 SP -> 将数据附加到查找输出 -> 执行 SP 以插入另一个 SQL。

我不确定我想要实现的目标是否可以通过数据工厂实现,或者我什至是否从正确的角度来解决这个问题。

0 投票
3 回答
9032 浏览

azure-data-factory - 禁用 Azure 数据工厂管道中的活动而不将其删除

所以我正在测试管道的每个活动,我想禁用其中的一些活动。本质上,有一个发送电子邮件的活动,我想禁用它,因为我想查看先前活动的输出。

Offcourse 我不想删除电子邮件发送活动,因为它是在 prod 环境中,而不是由我开发的。

有没有办法禁用它?

0 投票
2 回答
3202 浏览

azure - Azure 数据工厂 | 从 SFTP 到 Blob 的增量数据加载

我创建了一个(一次运行)DF(V2)管道,用于将文件(.lta.gz)从 SFTP 服务器加载到 azure blob 中以获取历史数据。工作得很漂亮。SFTP 服务器上每天都会有几个新文件(这些文件无法被操纵或删除)。所以我想创建一个增量加载管道,每天检查新文件 - 如果是这样 ---> 复制新文件。

有人对我有什么建议吗?

0 投票
2 回答
3456 浏览

azure-data-factory - Epoch timestamp in Data factory

The following is working:

But not this:

Even this is not working:

So it is @{formatDateTime(adddays(utcnow(), -6), '%a %b %d %H:%M:%S +0000 %Y')} vs 1525756206 vs @{formatDateTime(adddays(utcnow(), -6), '%s')}

Can anybody help me here? I have been stuck here for a couple of days. How to calculate or use seconds in data factory?

Basically when I am using @{formatDateTime(adddays(utcnow(), -6), '%a %b %d %H:%M:%S +0000 %Y')}, It just ignore the filters/tag in the URL.

0 投票
3 回答
604 浏览

azure-data-factory - item() 名称中的数据工厂查找(点)

我正在查找其中 salesforce 查询。我在后续活动中使用元素 (item())。直到现在我有 item().name 或 item().email 但现在我有 item().NVMStatsSF__Related_Lead__r.FirstName 在字段名称中有(点)。

我应该如何通过 body 标签解析它以便正确读取它?

所以我在 item() 中有以下数据

{ “NVMStatsSF__Related_Lead__c”:“00QE000egrtgrAK”,“NVMStatsSF__Agent__r.Name”:“ABC”,“NVMStatsSF__Related_Lead__r.Email”:“geggegg@gmail.com”,“NVMStatsSF__Related_Lead__r.FirstName”:“ABC”,“NVMStatsSF__Related_Lead__r.OwnerId”:“ 0025434535IIAW" }

现在,当我使用 item().NVMStatsSF__Agent__r.Name 时,由于 NVMStatsSF__Agent__r 之后的(点),它不会解析。它给了我以下错误。

0 投票
1 回答
12954 浏览

azure-data-factory-2 - 如何在具有函数的动态表达式中转义单引号?

需要使用管道参数中的动态数据函数将参数插入字符串。试过反斜杠、双反斜杠、双单引号、@、@@等废话。只需要一种简单的方法来转义字符串中的单引号。

0 投票
2 回答
200 浏览

azure-data-factory - JIRA 复制 Azure 数据工厂中的自定义字段

我知道 JIRA 数据集目前在数据工厂中处于测试阶段。但是还有什么方法可以提取自定义字段数据吗?

现在,当我复制 JIRA 问题数据时,它只给我任何问题中存在的标准字段。

我也想要自定义字段。反正?

0 投票
1 回答
5314 浏览

azure-data-factory - 数据工厂中的预复制脚本或动态数据处理

我正在从源、API 复制数据,并将其复制到 Azure SQL DB。但在其中一个专栏中,我得到了 Json 对象。

我可以在管道中使用动态参数(通过预复制脚本或其他方式)以仅从这些 json 对象中获取特定标签的值的任何方式,以便我只能在列中具有该值。唯一的限制是我不能更换水槽。它必须是 Azure SQL DB。

我得到的 Json 对象:[{"self":" https://xxxxxxxx.jira.com/rest/api/2/customFieldOption/11903 ","value":"Yes","id":"11903"} ]

而且我只想要“价值”标签响应而不是完整的 json。