azure-data-explorer - Azure 数据资源管理器/kusto 松散类型的 json 摄取策略

Question

我想摄取具有扁平结构但键有许多可能值的 JSONND 日志文件；一些键是常见的，例如“时间”，但其他键因日志文件消息的类型而异。将此类数据引入 Kusto/Azure 数据资源管理器的有用策略是什么？

我考虑了以下几点：

• 只将那些总是常见的键放入列中，并将其余的作为 JSON 推送到“动态”数据类型中；
• 预解析相当大的数据样本，提取所有可能的键并为每个键创建列，默认为“字符串”

Answer 1

一般方法应该是：

• 您希望在查询中经常使用的每个属性（例如过滤、汇总/按等）都应该在其自己的专用且强类型（非dynamic）列中。为了实现这一点，您可能会使用JSON 摄取映射（我假设JSONND格式允许您这样做，但是我不确定您的数据是什么样的，所以您应该检查这是否是一个选项），或者更新策略。
• 您希望访问频率较低的属性可以包含在提取到dynamic列中的属性包中（您可以在查询时访问它们，如此处所述）。