0

我在 Azure 数据工厂中运行了一些数据管道,并使用 Azure 集成运行时进行计算。我正在尝试监视 CPU/内存使用管道消耗和利用 Azure IR。我已经检查了 Azure Monitor,但我认为 CPU / 内存指标适用于自托管集成运行时。此外,启用诊断设置后,我也尝试验证日志中的详细信息,但这些详细信息不可用。任何人都可以帮助了解更多选择吗?

4

2 回答 2

1

如果您指的是 Azure AutoResolveIntegrationRuntime,那么没有,这就是原因(来自https://www.cathrinewilhelmsen.net/integration-runtimes-azure-data-factory/

Azure 集成运行时的屏幕截图

Microsoft 在他们提供 Azure 的各个位置/区域中拥有庞大的弹性池,并且在运行时 ADF 确定它将用于执行管道活动的池/硬件。所以真的没有办法(也没有必要)监控 Azure Autoresolve IR。但是,如果您对监控自托管 IR 感兴趣,那么有很多方法可以做到这一点。

一种简单直接的方法是在 Azure Monitor 的 Metrics 部分创建 Azure Dashboards。正如您从下面的屏幕截图中看到的那样,它提供了随时间推移的使用/资源的良好可视化表示。 Azure 仪表板示例 如您所见,我正在可视化集成运行时本身(CPU/内存)以及托管集成运行时的 Azure VM。最重要的是,如果满足某些条件(例如,过去 15 分钟的 AVG CPU % 使用率超过 75%),您可以进入 Metrics 仪表板设置警报。这些警报可以向您发送短信或电子邮件……甚至可以执行复杂的操作,例如触发 LogicApp 或 WebHook 以实现自动扩展/扩展、高级通知等。

我认为这是最好的监控方式,但另一种选择是调用 Azure 数据工厂 REST API 来获取集成运行时的监控数据

POST https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.DataFactory/factories/{factoryName}/integrationRuntimes/{integrationRuntimeName}/monitoringData?api-version=2018-06-01

但是这种方法需要您逐步提取数据、存储数据、解析数据,然后将其可视化或在已经非常适合您的情况下对其采取行动。不过,有时重新制作轮子很有趣。

于 2021-07-08T20:01:10.730 回答
0

是 可以监控 Azure 集成运行时。

监控中的“管道运行”可以选择检查特定于管道、集成运行时和更具体过滤器的 CPU 利用率。你可以在这里找到它是如何完成的。

于 2021-07-07T11:19:23.990 回答