azure-data-explorer - Azure 数据资源管理器批处理策略修改

Question

我有大量数据从 Eventhub 流向 Azure 数据资源管理器。目前我们还没有对批处理策略进行任何修改，所以它是每 5 分钟调度一次。但是我们需要将其降低到一个较小的值，以便减少端到端的延迟。

如何计算此设置的理想批处理时间。是否有基于 ADX 的 CPU 和 Eventhub 上的数据摄取的任何计算，以便我可以在不影响 ADX 的 CPU 使用率的情况下找出一个理想的时间

Answer 1

今天没有工具或其他功能可以让您这样做，您需要尝试“MaximumBatchingTimeSpan”的所需设置并观察对 CPU 使用率的影响。

Answer 2

本质上，如果您正在摄取大量数据（每个表），您可能没有使用 5 分钟的批处理窗口，或者可以显着减少它而不会产生不利影响。请查看您的集群的延迟和批处理指标 ( https://docs.microsoft.com/en-us/azure/data-explorer/using-metrics#ingestion-metrics ) 并查看 a) 如果您的实际延迟低于 5 分钟 - 这表明批处理不是由时间驱动的，并且 b) 您的集群最常执行的“批处理类型”是什么 - 时间/大小/项目数。根据这些数字，您可以调整摄取批处理策略的时间部分。