2

我正在尝试使用流分析将我的 Application Insights 导出读取到 SQL 表中。

这些是我试图捕获的自定义和指标事件，因此部分 JSON 是自定义或指标事件（例如 TestMethod1）的“名称”，JSON 如下所示：

{
  "metric": [ ],
  "internal": 
  .. host of other json data...
    "context": {
      "custom": {
      "metrics": 
      [
        {
          "TestMethod1": 
          {
            "value": 42.8207,
            "count": 1.0,
            "min": 42.8207,
            "max": 42.8207,
            "stdDev": 0.0
          }
        }
      ]
    }
  }
}

使用类似 Sql 的分析语言，我尝试使用类似于下面的语法将我的数据传输到 SQL 表（这仍然是我尝试各种方法和手段来实现这一点......）

SELECT A.internal.data.id as id
, dimensions.ArrayValue.EventName as eventName
, metrics.[value] as [value]
, A.context.data.eventTime as eventtime
, metrics.count as [count]
INTO
  MetricsOutput
FROM AppMetrics A
CROSS APPLY GetElements(A.[context].[custom].[metrics[0]]) as metrics
 CROSS APPLY GetElements(A.[context].[custom].[dimensions]) as dimensions

问题是，由于自定义事件名称，我的 [value] 和 [count] 列都没有被填充。目前我在metrics.value上收到错误“具有此类名称的列不存在”。

关于如何实现这一目标的任何想法？

我想为几种不同的方法输出我的指标和自定义事件，列名并不重要。但来自应用洞察导出的一个 blob 文件将包含 5 或 6 个不同的自定义事件和指标的事件。

因此，我可以拥有一个包含 TestMethod1、TestMethod2 和 TestMethod3 的 blob 文件，并希望将该文件解析到表中，而不必求助于代码和工作人员角色。

问候

4

2 回答 2

3

对于要添加为单行中的列的自定义维度，这对我有用：

在流分析作业的“作业拓扑 -> 函数”部分下。

第一的，

添加具有以下属性的自定义函数

  • 函数别名 - flattenCustomDimensions（可以是任何东西）
  • 函数类型 - Javascript UDF
  • 输出类型 -任何

并将主要功能替换为以下内容

function main(dimensions) {
  let output = {};
  for(let i in dimensions) {
    let dim = dimensions[i];
    for(let key in dim) {
      output[key] = dim[key];
    }
  }
  return output;
}

添加自定义函数

第二，

形成如下查询：

如果我们有自定义尺寸，例如

第 1 行：

"context": {
  ...
  "custom": {
    "dimensions": [
      { "Dimension1": "Value1" },
      { "Dimension2": "Value2" }
    ]
  }
}

第 2 行：

"context": {
  ...
  "custom": {
    "dimensions": [
      { "Dimension1": "Value1.2" },
      { "Dimension3": "Value3" }
    ]
  }
}

查询将是

WITH temp as (
SELECT
    *,
    UDF.flattenCustomDimensions(I.context.custom.dimensions) as dim
    FROM [Input] as I
)

SELECT
    Dim1 = temp.dim.Dimension1,
    Dim2 = temp.dim.Dimension2,
    Dim3 = temp.dim.Dimension3
INTO [Output]
FROM temp

输出表将是

DIM1     |  DIM2  |  DIM3
----------------------------
Value1   | Value2 | null
Value1.2 | null   | Value3
于 2017-04-27T14:17:25.990 回答
1

您不想将 CROSS APPLY 用于您的维度，因为它会将每个维度放在不同的行上。您想要的是将所有内容展平成一行。为此，请使用 GetRecordPropertyValue 和 GetArrayElement 函数，如下所示。

JSON格式：

{
    "event": [{...}],
    "internal": {...},
    "context": {
        ...
        "data": {
            "isSynthetic": false,
            "eventTime": "2015-12-14T17:38:35.37Z",
            "samplingRate": 100.0
        },
        ...
        "custom": {
            "dimensions": 
            [
                { "MyDimension1": "foo" }, 
                { "MyDimension2": "bar" }
            ],
            "metrics": [{
                "MyMetric1": {
                    "value": 0.39340400471142523,
                    "count": 1.0,
                    "min": 0.39340400471142523,
                    "max": 0.39340400471142523,
                    "stdDev": 0.0
                }
            }]
        },
        ...
    }
}

询问：

SELECT
    MySource.internal.data.id AS ID,
    MySource.context.data.eventTime AS EventTime,
    GetRecordPropertyValue(GetArrayElement(MySource.context.custom.dimensions, 0), 'MyDimension1') AS MyDimension1,
    GetRecordPropertyValue(GetArrayElement(MySource.context.custom.dimensions, 1), 'MyDimension2') AS MyDimension2,
    avg(CASE WHEN MyMetrics.arrayvalue.MyMetric1.value IS NULL THEN 0 ELSE   MyMetrics.arrayvalue.MyMetric1.value END) as MetricAverage
INTO
   [output-stream]
FROM
  [input-stream] MySource
OUTER APPLY 
    GetElements(MySource.context.custom.metrics) as MyMetrics
GROUP BY 
    SlidingWindow(minute, 1), 
    MySource.internal.data.id AS ID,
    MySource.context.data.eventTime AS EventTime,
    GetRecordPropertyValue(GetArrayElement(MySource.context.custom.dimensions, 0), 'MyDimension1'),
    GetRecordPropertyValue(GetArrayElement(MySource.context.custom.dimensions, 1), 'MyDimension2')
于 2015-12-17T22:21:22.277 回答