问题标签 [stream-analytics]

你能问我，谁使用storm IEventLogger 接口来记录事件值。我不明白，它是如何在一些自定义 Java 应用程序中使用的。它会使用一些线程还是应用线程？我们需要如何获取/设置storm config和TopologyContext ...等 http://storm.apache.org/releases/1.0.3/Eventlogging.html（扩展事件日志）

我有一个像这样的数据；

我想旋转该参数值（每10分钟窗口）并显示每个设备ID的每个参数的最后接收值，就像这个 编辑*（参数将是动态的，而不仅仅是p1和p2）；

谢谢你。

我们将日期时间作为字符串发送，格式为 2018-03-20 10:50:037.996，我们编写了如下 Steam 分析查询。

当我们通过流分析发送数据时，作业会失败。请有任何建议。

提前致谢

到目前为止，我没有运气通过流分析作业从 JSON 字符串中提取某些宽格式的值。

JSON 具有以下格式：

我正在尝试以以下格式获取它：

我尝试使用“Cross APPLY GetPropertyValues(input)”获取值，但我无法以宽格式获取它们。

数据结构： {sensorId: 1, temp: 20, timestamp: 1525119377241}

窗口查询：

我想实时计算实际 avgTemp 和之前 avgTemp 30s 之间的斜率。

使用 atumbling window可以使用LAG(avgTemp, 1)，但这只会每 30 秒输出一次。

TL;DR：我想在每次滑动窗口计算新的 avgTemp 时实时计算斜率。

我有一个传感器，它以以下格式（通过 Modbus 服务器）向 IoTHub 报告数据：

每个传感器都在一个单独的数组条目中报告，并在传感器的显示名称和值之间进行拆分。

我想要的是一个 JSON Payload，我可以将它输入 PowerBI，所以这需要按顺序排列：

时间戳：时间，湿度：湿度值，温度：温度值

如何构建合适的流分析查询来执行此操作？这种输入格式是典型的 Modbus 或 OPC-UA 类型设备，因此可能会遇到几次。

我尝试使用 GetArrayElement/(s) 但该数组在 JSON 中没有名称，因此没有可引用的内容。

这是我的流分析拓扑

• 每个作业在 EventHubSource 中都有不同的使用者组。
• 每个作业都尴尬地并行，只消耗 14% 的 SU 资源。

在测试 JobA 和 JobC 时，windowEnd 和原始 Event Time 之间的差异只有几毫秒（~300），这是可以的（我的生产者的延迟 + eventthub + 流分析处理时间）。

但是当我像这样在一个新的 Job C 中加入两个流时：

这会产生一些输出，但问题就在这里：

真实事件即使被 Job A 和 B 同时推送，也相隔数分钟（相同的 windowEnd）

当我检查来自 EventHub A 和 B 的数据时，windowEnd 和真实事件时间戳之间的差异在 39 到 44 分钟之间，对于所有这些。但是当像上面提到的那样进行测试时，它只有 300 毫秒。

这里最糟糕的是，当我在 prod 中运行它时，它只会发出几十个事件并停止，即使输入计数仍然是数千。

我已经为此工作了几周，每次我处理来自 ASA 的一些神秘行为时，我的拓扑非常简单，我只使用 1s 跳跃的简单跳跃窗口，这不应该需要几周的调整和试验错误甚至不了解发生了什么。

对于使用 ASA 和 AWS Kinesis 分析的人，您是否发现 Kinesis 分析更易于使用？在 ASA 中让我烦恼的是不可预测的行为和没有错误消息的问题（我激活了日志分析并且没有错误存在......）

在 Visual Studio 中创建了一个流分析项目，输入作为事件中心，输出作为 Power BI。在构建项目时，生成的模板 json 不包含 power bi 输出详细信息。

以下是 output.json 的详细信息。我看到针对PowellBIProperties提到的 power bi 属性。这是正确的吗 ？该文件是根据通过 Visual Studio 中的 UI 界面输入的值生成的。

生成的 template.json 的输出为：

已尝试将PowellBIProperties更改为PowerBIProperties。仍然会生成相同的模板。

我需要帮助。我有类似的数据

我想将其转换为以下

参数将是动态的或多个，而不仅仅是 Chocolate 和 Maple ）

我想创建一个流分析查询来处理这些数据并将其存储到 Destination 表中，该表已经具有 Id、Name、Type、Chocolate、Maple 等列......请帮助我。

我有两个问题：

1. azure Stream 分析是否支持使用 CASE 语句的嵌套条件？
2. 我看到这里提到了 2 种格式的 CASE 表达式 - https://docs.microsoft.com/en-us/stream-analytics-query/case-azure-stream-analytics。我在这里找到了搜索案例的示例。任何人都可以举个简单案例表达式的例子吗？