我在 Azure 数据工厂中运行了一些数据管道，并使用 Azure 集成运行时进行计算。我正在尝试监视 CPU/内存使用管道消耗和利用 Azure IR。我已经检查了 Azure Monitor，但我认为 CPU / 内存指标适用于自托管集成运行时。此外，启用诊断设置后，我也尝试验证日志中的详细信息，但这些详细信息不可用。任何人都可以帮助了解更多选择吗？
问问题
453 次
2 回答
1
如果您指的是 Azure AutoResolveIntegrationRuntime，那么没有，这就是原因（来自https://www.cathrinewilhelmsen.net/integration-runtimes-azure-data-factory/）
Microsoft 在他们提供 Azure 的各个位置/区域中拥有庞大的弹性池，并且在运行时 ADF 确定它将用于执行管道活动的池/硬件。所以真的没有办法（也没有必要）监控 Azure Autoresolve IR。但是，如果您对监控自托管 IR 感兴趣，那么有很多方法可以做到这一点。
一种简单直接的方法是在 Azure Monitor 的 Metrics 部分创建 Azure Dashboards。正如您从下面的屏幕截图中看到的那样，它提供了随时间推移的使用/资源的良好可视化表示。
如您所见，我正在可视化集成运行时本身（CPU/内存）以及托管集成运行时的 Azure VM。最重要的是，如果满足某些条件（例如，过去 15 分钟的 AVG CPU % 使用率超过 75%），您可以进入 Metrics 仪表板设置警报。这些警报可以向您发送短信或电子邮件……甚至可以执行复杂的操作，例如触发 LogicApp 或 WebHook 以实现自动扩展/扩展、高级通知等。
我认为这是最好的监控方式，但另一种选择是调用 Azure 数据工厂 REST API 来获取集成运行时的监控数据
POST https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.DataFactory/factories/{factoryName}/integrationRuntimes/{integrationRuntimeName}/monitoringData?api-version=2018-06-01
但是这种方法需要您逐步提取数据、存储数据、解析数据，然后将其可视化或在已经非常适合您的情况下对其采取行动。不过，有时重新制作轮子很有趣。
于 2021-07-08T20:01:10.730 回答
0
是 可以监控 Azure 集成运行时。
监控中的“管道运行”可以选择检查特定于管道、集成运行时和更具体过滤器的 CPU 利用率。你可以在这里找到它是如何完成的。
于 2021-07-07T11:19:23.990 回答