问题标签 [azure-stream-analytics]

我在使用 powerBI 时遇到了同样的问题，似乎自动刷新失败了，我目前必须单击刷新才能看到新数据进入，我已经配置了 tumblingwindow 部分，例如tumblingwindow(second,3)，完成了对仪表板的实时操作我必须设置的任何其他设置/因素才能使自动刷新正常工作。（它是一个控制台应用程序，它从数据库中选择数据并将每一行从事件中心发送到事件中心以进行流分析，然后输出是 powerBi）。我假设时间限制取决于吞吐量，但我如何真正计算我应该设置的 tumblingwindow 的时间，我已经尝试了等式entitycount*60*60/throughput = seconds仍然没有成功。

下面是一个代码，但即使在tumblingwindow(second,3)之后，事件仍然需要时间才能到达 powerBi ，我可以停止我的应用程序运行然后从 powerbi 中删除数据集，但随后数据集将重新出现

EventData data = new EventData(Encoding.UTF8.GetBytes(serializedobjects)); eventHubClient.SendAsync(数据);

我正在使用 Azure 流分析进行实时分析，但我遇到了一个基本问题。我有一个字段，我想计算消息的数量。json 格式如下：

我想按类别查看计数，因此我假设 Azure 流分析中的查询应该是：

问题是我必须将 TumblingWindow 或 SlidingWindows 添加到 group by 子句中。有没有办法避免这种情况并让计算无限期地运行？我还需要确保将输出写入 SQL 服务器。

我有以下场景，我正在考虑通过Azure Stream Analytics实现。

我的输入包括：

1. 从Azure 事件中心流入的事件。
2. 与事件相关的参考数据。其中一些数据每天都在“缓慢变化”。

我需要加入事件和参考数据，处理它们并输出构成“数据仓库”的表（将Power BI作为消费者）。

输出将由以下部分组成：

1. 存储最重要事件的事实表。
2. 一些包含构成事实的值的维度表。

Azure 流分析是否适合这种工作？在我看来，ASA 非常适合将事件从事件中心流保存到事实表中。但是，使维度表保持最新的额外工作（即定期添加新值）并不适合。

我在这个分析中正确吗？我应该为我的项目切换到Azure 数据工厂吗？

所以我有点问题。我从外部 API 检索一些天气数据。这以 JSON 形式返回并发送到 Azure IoT 中心。流分析将 json 处理为适当的格式，但我在这里遇到了问题。

元素：Current_Condition，是一个数组格式。它总是在 [0] 位置有一个元素。我只需要从第一个位置获取该数组的数据，而不需要过滤 id 等内容。

下面是完整的数据

还有一些关于我到底需要做什么的解释（不仅仅是一个例子或代码答案）对未来会有好处。（请求元素毕竟有同样的问题。）

提前致谢 ：）

我有一个从 Azure EventHub 读取的流分析作业。我正在尝试读取作业中消息的属性。我说的是附加到 EventHub 消息的属性，如下所示：

var Event = new EventData(Encoding.UTF8.GetBytes(serialized)); Event.Properties.Add("tableName", tableName);

我想在我的流分析作业中读取“tableName”属性。这可能来自流分析，还是我必须设置一个 EventHostProcessor 才能读取这些属性？

如果可能，我如何在 Azure 管理门户中对此进行测试？在通过 EventHubClient 将 EventData 对象发送到 EventHub 之前，我没有一种简单的方法来查看它的外观。

我们有一个 azure 云服务，它记录 Azure Application Insights 的所有异常。我们已设置将所有异常连续导出到 azure 存储表。最重要的是，我们有 Azure 流分析，它从存储 blob 中提取数据并将其推送到 Azure SQL 数据库。现在，问题是我们无法ParsedStack将异常 json 正确转换/格式化为 varchar(max)，以便我们可以将其插入数据库。

这是我们使用的流分析查询 -

SQL 表中的所有值看起来都符合预期，但ParsedStack列的值始终是Microsoft.EventProcessing.SteamR.Sql.ValueArray

编辑

添加 Exception 对象 json （完整版很长，所以修剪它更清楚） -

这个问题是关于流分析的。我想将 blob 导出到 SQL 中。我知道这个过程，我的问题是我必须使用的查询。

好吧，您可以看到 3 个 json 对象，它们对于数组 performanceCounter 中的对象具有不同的字段。基本上每个对象的第一个对象。第一个是available_bytes，第二个是percentage_processor_total，第三个是percentage_processor_time。

因为我将它导出到一个名为 performaceCounter 的 sql 表中，所以我应该为每个不同的对象设置一个不同的列，所以我想将它保存到一个字符串中，然后在我的应用程序中解析它。

作为起点，我有这个查询，它读取输入（blob）并写入输出（SQL）

此 GetArrayElement 在 performanceCounter 中获取数组的索引 0，然后为在每个对象中找到的每个不同字段写入不同的列。所以我应该有所有不同的计数器并为每个计数器创建一个列，但我的想法更像是一个列调用 performanceCounterData 并保存字符串

'"available_bytes":"value":994164736.0},"categoryName":"Memory","instanceName":""'

或这个

"{"percentage_processor_total":{"value":0.0123466420918703},"categoryName":"Processor","instanceName":"_Total"}"

或者

"{"percentage_processor_time":"value":0.0},"categoryName":"Process","instanceName":"w3wp"}"

我怎样才能像字符串一样转换数组？我试过 CAST(GetArrayElement(A.performanceCounter,0) as nvarchar(max)) 但我不能。

请一些好的帮助将得到回报

我是 Azure 的新手，我不确定我的查询系统是否正确。我有一个应用程序每 1.5 秒向我的服务总线发送数据，我需要将我的数据实时发送到 PowerBI。最简单的查询

返回所有数据，我不能用它来查看实时事件。因此，我进行了搜索，发现了有关 Temporal Queryes 的信息，但是我遵循的每个示例似乎都对我没有帮助（可能我做得不对）。这是我的查询：

更具体地说，我需要做的是：如果我的玩具车正在加速，我可以有一个仪表来显示它的加速度增加或减少，或者我房间的实际温度，所以如果它是 30°c 并且它下降到 16°C，它正好显示了这个值。我究竟做错了什么？

Steam 分析是否支持 Azure 系列产品以外的输入源？

例如，我可以设置一个 REST 端点并以这种方式发送事件吗？是否有 node.js 的客户端库？

在这方面的文档有点少；我想在这里检查一下，然后再假设这两个方面都没有。

我的 Azure IoT Hub 和 Azure 流分析工作遇到了一个非常奇怪的问题。

长话短说：我配置了一个 Azure IoT Hub 实例以从连接了传感器的 Raspberry PI 3 获取一些天气数据；然后，我配置了一个 Azure 流分析作业以从 IoT 中心获取数据并将其放入 DocumentDB 集合中 - 在配置阶段，我将 sensorId 设置为分区键。运行该工作近 3 天后，我购买了更多传感器（具有不同 ID）并将它们添加到 Raspberry PI - 正在收集数据并将其发送到 Azure IoT Hub，所有 3 个连接的传感器都没有任何问题（检查使用设备资源管理器进行传输）。

现在到了奇怪的部分——只有第一个传感器（它自己运行了将近 3 天）发送的数据通过分析作业并发送到 DocumentDB——在门户中我看到我有很多输入事件但是我看到 0 个输出事件（尽管数据正在通过）。

为了排除任何其他问题，我编写了一个小型控制台应用程序，它“监听”物联网中心的传入消息，实际上，所有传感器都在向物联网中心发送数据。

用于分析作业的查询如下：

我见过其他类似的问题，但公认的答案是微软存在错误。

有什么办法可以调试这个东西？

谢谢你。