问题标签 [azure-integration-runtime]

是否可以在 Azure 数据工厂中水平或垂直扩展自托管集成运行时容器？

在管道和/或活动可能超时或失败之前，使用 Azure IRT 作为 Azure 数据工厂的一部分传输的同时数据量是否存在最大吞吐量或上传限制？

根据 Microsoft 的文档，在启动期间需要自定义设置才能在 SSIS 集成运行时节点上安装自定义驱动程序。自定义设置由存储容器中的 main.cmd 文件触发，该存储容器还托管驱动程序安装文件。

https://docs.microsoft.com/en-us/azure/data-factory/how-to-configure-azure-ssis-ir-custom-setup#instructions

该过程在尝试安装 C++ 运行时 (msdev2010_vcredist_x64.exe) 期间失败，并且错误不明确。我使用的版本是 hanaclient-2.9.28-windows-x64.zip。

.\hdbinst.exe -a 客户端 --batch

标准错误日志

我也尝试跳过 C++ 运行时，但结果仍然失败，但这次尝试注册单个组件。

.\hdbinst.exe -a 客户端 --batch --skip_vcredist

标准错误日志

是否有人在 Azure SSIS 集成运行时中成功安装了 SAP HANA 驱动程序？

其他有用信息，自定义设置脚本公共存储容器的 Microsoft 示例。

所以我正在设置一个数据流来从 Access DB 中提取数据并进入我的 Datafactory，然后推送到湖/数据仓库。

我已经在上面有文件的 VM 上设置了一个集成运行时。我目前正在使用自己的凭据来尝试使连接正常工作。

我开始使用本指南： https ://docs.microsoft.com/en-us/azure/data-factory/connector-microsoft-access?tabs=data-factory

把事情做好。这是连接字符串：

Athentication 是基本的，使用我的用户名和密码。我已经在 Datafactory 中测试了常规文件系统链接服务的凭据，它们工作正常。

我已经在 VM 上安装了 Access 并打开了数据库。检查并重新安装驱动程序，确保集成运行时用户和我的用户可以访问 HKEY_LOCAL_MACHINE\SOFTWARE\ODBC 注册表项。集成运行时适用于 datafactory 上的其他文件/链接服务。这一切都说，我不断收到这个错误：

我只需要读取权限。我已经保存了一份副本以供参考，因此它没有被其他用户锁定。我已经登录到虚拟机并与该用户打开了同一个数据库，所以它看起来不像是权限错误。我不确定接下来我可以尝试什么。

我发现无论我输入什么用户/密码组合，我仍然会遇到同样的错误，所以可能倾向于驱动程序问题？

我正在使用数据流活动将 MongoDB 数据转换为 SQL。截至目前，不支持将 MongoDB/Atlas 作为数据流中的源。我正在将 MongoDB 数据转换为 AzureBlob 存储中的 JSON 文件，然后将该 json 文件用作数据流中的源。

对于大小约为/超过 4Gb 的 json 源文件，每当我尝试导入投影时，Azure 集成运行时都会引发以下错误。我已将核心大小更改为 16+16，并将集群类型更改为内存优化。

有没有其他方法可以导入投影？

我在使用 Azure 数据工厂中的复制活动从 AccessDB 复制数据时遇到问题。

该副本有时会起作用，并且在“休息”一段时间后似乎效果更好。

管道的初始错误运行：

从发生此错误时开始深入研究 IR 日志，有很多信息，但具体来说，日志中也存在此错误：

这有时确实有效，它是间歇性的，所以我倾向于像池大小错误这样的东西？但是，我不确定接下来要尝试什么 - 将尽快向 Microsoft 记录支持票。

我在 Azure 数据工厂的自托管集成运行时中遇到错误，特别是java.lang.NoClassDefFoundError:org/apache/log4j/Level. 这是 ADF 生成的完整错误：

特别是在对 Parquet 文件执行复制活动时。

我可以看到 log4j jar 在 Integration Runtime Jars 目录中：

除了建议以下内容的Informatica 片段外，我还没有找到任何好的文档：

Informatica Data Replication (IDR) 使用了 3 个 lo4j*.jar 文件，如下所示：

• log4j-1.2.16.jar
• log4jdbc3-1.2beta2.jar
• log4jdbc4-1.2beta2.jar

要解决此问题，请确保 DBSYNC_HOME\lib 目录中的三个 Java 文件可用，然后重新运行 IDR 控制台。

有没有人遇到过这个错误？我在自托管机器上运行 Microsoft Integration Runtime v5.0。我认为 slf4j-log4j12-1.7.5 会涵盖这种依赖关系，我错过了什么吗？

我启动虚拟机的管道。

参数

检查状态 Azure VM GET

更改状态虚拟机

启动或暂停 Azure VM

POST @concat('https://management.azure.com/subscriptions/',pipeline().parameters.SubscriptionId,'/resourceGroups/',pipeline().parameters.ResourceGroupName,'/providers/Microsoft.Compute/virtualMachines /',pipeline().parameters.VMName,'/',pipeline().parameters.Command,'?api-version=2020-12-01')

这适用于启动 VM。我目前正在使用等待 10 分钟的 ADF 任务来确保 IR 已启动，但这不是最优雅的解决方案。 无论如何我可以强制此任务仅在自托管集成运行时启动并运行时完成？

我找到了以下命令：

获取-AzDataFactoryV2IntegrationRuntime -DataFactoryName -ResourceGroupName -Name -Status | 选择对象状态

这告诉我集成运行时的状态。

我想使用 Azure 数据工厂将数据从本地提取到 azure 数据湖 gen2。我已经在我的本地系统中安装了一个集成运行时，并将一个本地服务器作为链接服务器添加到集成运行时，并且能够成功提取数据。

现在我想在 Azure 虚拟机中安装集成运行时，并将我的本地服务器添加为链接服务并提取数据。

我可以这样做吗？

我想将数据从我的本地服务器（hive 或 oracle）提取到 Azure 数据工厂。而我面临的问题你能帮我解决这个问题吗？

我是根据企业问题提出这个问题的。我希望我的集成运行时位于 Onprem 服务器中，目前我们正在将其安装在我们自己的笔记本电脑中，如果我们的笔记本电脑关闭，那么显然 IR 会停止并且不会加载数据，这在生产中是不可行的。

有人知道在我的本地服务器中安装 IR 是什么意思吗？这意味着在我的配置单元服务器中？

您的帮助将不胜感激。