问题标签 [azure-integration-runtime]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
1556 浏览

azure - 如何在 Azure 集成运行时机器上安装 ODBC 驱动程序?

以下链接指出,使用 Azure 数据工厂复制数据源的先决条件是在 Azure 运行时环境中安装 ODBC 驱动程序。

https://docs.microsoft.com/en-us/azure/data-factory/connector-odbc

但是,我找不到任何记录如何执行此操作的内容。我预计会有很多人这样做或需要这些信息。这是一个在 Windows Server 上的简单练习。我有在我的 Windows 服务器上运行的安装程序文件,现在驱动程序在那里。

在此先感谢您的帮助。

0 投票
2 回答
1164 浏览

azure - 使用 Terraform 在托管虚拟网络中的 Azure 集成运行时

在 Azure 数据工厂中,可以使用门户创建 3 种类型的集成运行时:

  1. 天蓝色
  2. Azure-SSIS
  3. 自托管

但是查看 AzureRM 提供程序的 Terraform 文档站点,只能创建一个 Azure-SSIS ( azurerm_data_factory_integration_runtime_managed ) 和自托管 ( azurerm_data_factory_integration_runtime_self_hosted )。

是否有人使用 Terraform成功创建了连接到https://docs.microsoft.com/en-us/azure/data-factory/managed-virtual-network-private-endpoint中指定的虚拟网络的默认 Azure IR?

0 投票
1 回答
324 浏览

azure - 是否可以在 azure 数据工厂中更改自托管集成运行时节点的名称?

正如标题所示,我想更改 Azure 数据工厂中自托管集成运行时节点的名称。默认情况下,它是一个非常通用的名称,我想将其更改为托管节点的 VM 的名称。是否可以?

在此处输入图像描述

0 投票
1 回答
150 浏览

azure - Azure 集成运行时跨服务利用率

我已经在 DataFactory 中成功创建了一个运行时并运行了一些东西。

当我在 Azure Purview 中创建另一个运行时时,它会提示删除或修复导致 ADF 丢失的情况。如何在多个服务上使用相同的运行时。?

我遇到了这个文档,其中详细说明了如何创建共享运行时,但仅限于 ADF 中。

我错过了什么?鉴于运行时定义The Microsoft Integration Runtime is a customer managed data integration and scanning infrastructure used by Azure Data Factory, Azure Synapse Analytics and Azure Purview to provide data integration and scanning capabilities across different network environments. 它不应该是跨服务可检测的吗?

0 投票
0 回答
109 浏览

oracle - Oracle 表值函数在数据工厂中返回错误的小数

我正在使用 Azure 数据工厂 v2 开发云数据仓库。我的很多数据源都是本地 Oracle 12g 数据库。提取表 1-1 不是问题。但是,有时我需要在我的复制活动中动态提取参数化计算生成的数据。

由于我不能将 PL/SQL 存储过程用作 ADF 中的源,因此我在源数据库中使用表值函数并在复制活动中查询它们。

在大多数情况下,这可以正常工作。但是,当我的表值函数返回十进制类型列时,ADF 有时会返回错误值。即:在源数据库上执行 TVF 和通过 ADF 预览/复制会产生不同的结果。

如果十进制数的绝对值或符号很重要,我已经做了一些实验,但我找不到任何正确返回小数的模式,哪些不是。

以下是错误映射数字的几个示例:

Oracle 数据库中的值 ADF 中的价值
-658388.5681 188344991.6319
-205668.1648 58835420.6352
10255676.84 188213627.97348
  1. 你们中有人遇到过类似的问题吗?
  2. 你知道这是否是 ADF 中的一个错误(它首先没有很好地集成到 PL/SQL)?

第一个假设

起初我认为这个问题与 NLS、铸造或类似的东西有关。我通过在 Oracle db 端创建一个表来测试这个假设,将 TVF 的输出保存在那里,然后从 ADF 中的表中提取。使用此方法,在 ADF 中正确返回了小数。因此假设不成立。

第二个假设

它可能与用户访问有关。但是,ADF 中使用的链接服务使用与用于登录数据库以在那里执行 TVF 相同的数据库凭据。

观察

当 tvf 的逻辑中涉及很多聚合函数时,错误似乎更频繁地发生

最小可重现示例

甲骨文数据库:

ADF:数据集:

管道:

0 投票
1 回答
223 浏览

azure-pipelines - 在托管虚拟网络状态下自动解析 DataFactory IR 失败

重新部署数据工厂后,我们在 AutoResolve IR - 托管虚拟网络上遇到 FAILED 状态。ADF 还连接到 Azure DevOps Git,因此我们拥有 JSON ARM 模板和 adf_publish 分支的版本。关于如何调试此问题的一些建议,因为这是默认的 IR?

在此处输入图像描述

0 投票
1 回答
2337 浏览

azure - 如何将 Azure 自托管集成运行时连接到数据工厂专用终结点?

我已经在本地 Windows 服务器上设置了自托管集成运行时,并已使用公共端点(在 DF 中的网络选项中找到)成功地将其连接到数据工厂实例。但是,当我尝试使用专用端点选项将其连接到 DF 时,我收到错误消息:“集成运行时(自托管)节点未注册”。身份验证密钥绝对不是问题,因为它使用 DF 的公共端点工作。

任何人都可以向我指出允许本地 IR 连接到 DF 中的专用端点所需的步骤方向吗?我无法在网上找到足够详细的描述,因此任何指针将不胜感激。

这是我当前的设置:

  • 1 个 vnet,2 个子网
  • 1 个私有端点到 df,1 个私有端点到存储
  • 1 个到核心窗口的私有 DNS 链接,1 个到数据工厂的私有 DNS 链接
  • 我没有创建虚拟网络网关,因为我认为它不是必需的

我对 Azure 还很陌生,对网络主体只有基本的了解。

错误信息:

0 投票
1 回答
181 浏览

azure - Azure DataFactory 自托管集成运行时现在显示在门户中

我使用 powershell 创建了一个自托管的集成运行时:

但是当我检查 Azure Datafactory 门户,然后选择 Integration Runtime 时,我看不到它。当我通过创建。门户对我来说是可见的。我可以在 Powershell 中检查它的状态,它存在于那里。

我什至可以注册它,我看到它的状态是在线的,但门户中没有显示任何内容。

有什么理由不显示吗?

0 投票
0 回答
168 浏览

azure - Azure 数据工厂的低吞吐量

最近,我在两个资源组 ( , ) 上为资源和管道配置了一个Devops Pipelinefor 。我配置错误(完全部署)并完全擦除了我的服务资源组。CI/CDDEVPRDData Factory

时间快进,随着新服务的启动和配置GR,我正在配置一个 newData Factory和一个Integration Runtimeon a以从数据库Azure VM中提取数据。Oracle创建新管道后,我观察到吞吐量非常低,大约为 3 ~ 15 字节/秒,如下图所示。

在此处输入图像描述

每天的提取大约100 MB需要 2 到 5 个小时才能完成,我觉得这完全是荒谬的。此外,我检查了虚拟机的内存使用和处理能力,确实很低,甚至升级到更好的机器,它没有任何改变。目前在一个f4s. 您可以在下一张图片中看到多天的管道速度。

在此处输入图像描述

重要的是要说这GR在 Intranet 中并且Oracle数据库在IBM服务器中,但是已经给出了访问此数据的每个防火墙并且路由到数据库的配置也可以,并且相同的管道15 minutes在最后擦除的数据工厂和IR. 我已经解决了这个问题两周,我现在不知道如何解决它。我在数据库中使用的选择已由所述数据库的用户直接测试,并且在20 seconds返回结果所需的服务器中进行了测试,并且管道是一个简单的复制活动,首先调用一个更新数据库的过程,但是即使没有此更新程序,问题仍然存在。我也已经重装了Integration Runtime,还是不行。

0 投票
1 回答
1397 浏览

azure - 如何从 VM 中删除自托管集成运行时?

我在连接到 ADF 中的 IR 并且工作正常的 VM 中有一个自托管 IR。但是,我想将不同的 IR 连接到 VM。我似乎无法找到一种方法来删除 Microsoft Integration Runtime Configuration Manager 中现有 IR 的集成。

我总是可以从 ADF 中删除 IR,也许它会反映在 VM 上。但我不确定这是否可行,并且不想冒险破坏系统。

ADF 中的 git config 指向 2 个 ADF 资源。IR 连接到第一个(IR 是从门户创建的)。第二个 ADF 是稍后创建的,其 git 指向与第一个相同的 repo。当我启动 VM 时,IR 说在第一个中运行,但在第二个中显示“无法获取状态”。

  1. 是否可以安全地卸载 VM 上的 IR,在第二个 ADF 上创建新的 IR 并将其集成?如果是,如何?或者,
  2. 不知何故,使 VM 中的 IR 指向第二个 ADF。我也找不到怎么做。

编辑 - 我想删除第一个 ADF,只拥有第二个。