问题标签 [azure-data-factory]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
648 浏览

azure - 在数据管道中使用 SqlReaderQuery

我通过查询将数据从 Azure SQL DB 复制到 blob。

这是活动的脚本:

该活动似乎有效,但它没有将任何文件放入接收器。

数据集指向正确的容器。

0 投票
1 回答
1025 浏览

azure - 使用 Azure 数据工厂将 DBF 转换为 CSV

我正在尝试使用 Azure 数据工厂每天在 Azure SQL DW 上加载一堆表,但在加载它们之前我需要一些帮助来转换 DBF 表(转换为 CSV 会很好)。谁能指出一个好的方法来做到这一点?

0 投票
1 回答
1824 浏览

azure-data-factory - ADF - C# 自定义活动

我有一个 csv 文件作为我存储在 Azure Blob 存储中的输入。我想从 csv 文件中读取数据,对其执行一些转换,然后将数据存储在 Azure SQL 数据库中。我正在尝试在 Azure 数据工厂中使用 C# 自定义活动,将 blob 作为输入,将 sql 表作为输出数据集。我正在关注本教程(https://azure.microsoft.com/en-us/documentation/articles/data-factory-use-custom-activities/#see-also),但它具有作为 blob 的输入和输出。我可以得到一些 sql 数据库的示例代码作为输出,因为我无法弄清楚如何去做。谢谢

0 投票
3 回答
1214 浏览

azure-data-factory - 在 Azure 数据工厂管道中使用自定义活动时出错

在 Azure 数据工厂中运行自定义活动时出现错误。错误是:

作业遇到调度错误。代码:BlobDownloadMiscError 类别:ServerError 消息:下载指定的 Azure Blob 之一时遇到其他错误。

我一直在尝试按照本文档中的步骤 https://azure.microsoft.com/en-in/documentation/articles/data-factory-use-custom-activities/

0 投票
1 回答
957 浏览

azure - Azure 数据工厂 Hive 中的 HDInsight 创建外部表...位置:没有用于方案的文件系统:adl

我有一个带有 HD Insight 管道的数据工厂管道,它正在尝试访问 Azure 数据湖目录。

运行此管道时出现以下错误:

这在使用以下规范访问 Azure Blob 存储的管道中运行良好:

任何帮助,将不胜感激。js

0 投票
1 回答
3156 浏览

azure - 部署和供应 ADF 之间的区别

每当我在 ADF 中创建新管道并单击“部署”时,首先我会看到“deplyoing”的消息,然后我会看到“provisioning”的消息。有什么不同?

我们是否会遇到它正在部署管道但没有配置的情况?

谢谢

0 投票
1 回答
71 浏览

azure-data-factory - 在 ADF 中一次创建多个对象

我知道在 Author & Deploy 草稿中,我们可以一个一个地创建对象,例如数据集、链接服务、管道等。但是如果您将所有这些 JSON 存储在一个文件中,为什么不能直接复制和粘贴呢?一口气起草和部署它们?我知道对象会相互依赖,但 ADF 应该能够确定。到目前为止,一个一个地复制单个对象并单独部署是一件痛苦的事情。我知道有编程方法可以轻松做到这一点。但我特别询问 Author & Deploy 功能。

0 投票
1 回答
260 浏览

azure-data-factory - 重新部署现有正在运行的管道是否会再次重新处理就绪时间片?

假设您有一个配置和运行良好的 ADF 管道,它有一个特定的开始日期并且不应该有结束日期(所以结束日期就像 9999 ..)。它运行良好并且可以顺利处理每小时切片。现在,如果您对管道的属性进行了一些更改,或者只是在 Author & Deploy 中的某处点击空间并简单地重新部署,而没有任何逻辑更改,那么管道是否会重新处理它之前已经处理过的所有时间片?

0 投票
3 回答
1322 浏览

azure - 如何在 Azure Batch 中的计算节点上安装 .net 4.6.1

我坚持使用 .net 4.6.1 创建 azure 批处理池。

我浏览了那些非常好的资源:

我发现有一种方法可以使用 .net 4.6.1 ,而无需在节点上手动安装它。有一种编程方式可以使用最新的 .net 版本(即 .net 4.6.1)设置 Windows Ghost 映像,但我的节点是提前定义的。

在此处输入图像描述

我需要 .net 4.6.1,因为我们使用在 azure 批处理节点上运行的数据工厂和自定义活动。我们在该节点上手动升级了 .net 版本,但 Microsoft 不保证该状态会保留,并且我们注意到几次该节点被重置为其原始状态。

我的问题是:

  • 您知道 azure 门户上是否有任何方法可以选择已安装 .net 4.6.1 版本的操作系统系列设置为 Windows Server 2016?

  • 有人知道什么时候会有 .net 4.6.1 的操作系统可用吗?

  • 还是我应该使用 StartTask 功能并尝试手动安装 .net 4.6.1?但是,该选项听起来像是一些解决方法,而不是正确的解决方案。

0 投票
1 回答
309 浏览

azure-data-factory - 部署管道后,executionPriorityOrder 从 UI 中消失

这是我遇到的 ADF Author/Deploy UI 的一些奇怪行为。如果你尝试,你会看到同样的结果。

打开 ADF 中的任何现有管道,在其任何活动(例如,我的活动类型是 HDInsightHive)中,策略块中有一个名为:-

“executionPriorityOrder”:“NewestFirst”的选项,

如果您将鼠标悬停在它上面,您会看到另一个有效值是OldestFirst,因此如果您将其更改为:-

"executionPriorityOrder": "OldestFirst",

单击 Deploy。部署和配置后,再次打开该管道,您会注意到现在缺少整个 executionPriorityOrder 语句。是因为 OldestFirst 是默认的还是什么?