问题标签 [azure-stream-analytics]

我尝试进入 Microsoft Azure。为此，我只是设置了下面描述的演示应用程序

https://azure.microsoft.com/de-de/documentation/articles/iot-hub-csharp-csharp-getstarted/

现在我想尝试流分析，为此我配置了一个输入，监听 IoT Hub 和一个输出写入数据库。

每当我启动流分析作业时，都会出现这样的错误：

这是为什么？我在这里错过了什么？

当窗口为空时，是否可以使用“按窗口分组”表达式从流分析查询中生成输出？

例如，在本例中，查询：

SELECT System.Timestamp as WindowEnd, SwitchNum, COUNT(*) as CallCount FROM CallStream TIMESTAMP BY CallRecTime GROUP BY TUMBLINGWINDOW(s, 5), SwitchNum

产生输出：

• 2015-04-15T22:10:40.000Z 英国 1
• 2015-04-15T22:10:40.000Z 美国 1
• 2015-04-15T22:10:45.000Z 中国 1
• 2015-04-15T22:10:45.000Z 德国 1
• 2015-04-15T22:10:45.000Z 英国 3
• 2015-04-15T22:10:45.000Z 美国 1
• 2015-04-15T22:10:50.000Z 澳大利亚 2
• ...

是否有可能让它产生类似的东西：

• 2015-04-15T22:10:40.000Z 中国 0
• 2015-04-15T22:10:40.000Z 德国 0
• 2015-04-15T22:10:40.000Z 英国 1
• 2015-04-15T22:10:40.000Z 美国 1
• 2015-04-15T22:10:40.000Z 澳大利亚 0
• 2015-04-15T22:10:45.000Z 中国 1
• 2015-04-15T22:10:45.000Z 德国 1
• 2015-04-15T22:10:45.000Z 英国 3
• 2015-04-15T22:10:45.000Z 美国 1
• 2015-04-15T22:10:45.000Z 澳大利亚 0
• ...

?

目标是使用跳跃窗口检测最后 x 秒内是否没有事件。

支持生成输出到 Azure SQL 数据库，但当我发现门户不允许指定在 VM 上运行的 SQL Server 数据库时，我感到震惊。这不支持吗？我们需要存储大量来自 ASA 作业的数据，并使用 SQL 作业，这就是我们计划使用 SQL Server VM 的原因。谢谢！

当我尝试使用最后一个功能时（https://msdn.microsoft.com/en-us/library/azure/mt421186.aspx）。我收到以下错误：

编译查询失败。

我的最后一个函数看起来与 msdn 示例中的函数非常相似，所以我不确定为什么会出现问题。

我正在使用最后一个函数来创建一个标识接收到的最新记录的标志（因此我可以在 Power BI 中仅显示最新值）。

但是我看到最后一个函数总是返回与我的时间戳相同的日期时间，所以我的查询中的所有行看起来都是最后收到的。我的数据每秒都有记录。

（或者，我希望使用 row_number 函数给我一些过滤以识别最新记录 - 但这似乎不存在于流分析中）

几个月来，我一直在使用 StreamInsight for CEP，并且有兴趣转向 ASA。我有一个无法从 ASA 文档中回答的问题。在 StreamInsight 中，我可以更改事件的持续时间以从离散的时间点事件创建信号流。例如

我想要做的是检测这个高/低类型信号和另一个时间点事件流之间的重叠。我怎样才能在 ASA 中达到同样的效果？

背景：我有将来自多个源的事件发送到天蓝色事件中心的设备。其中一些事件是来自联系人的开/关事件。每个触点类型由“EventCode”表示，“Value”字段指示触点是打开还是关闭。我正在寻找的是一个 ASA 查询，它将告诉我 EventCode 512 何时处于“开启”状态，同时 EventCode X 也处于“开启”状态。

解决方案

下面是来自@Andrew 的修改后的代码，它在开关打开时检测到联系人正在关闭。'inStream' 是在以 Timestamp 字段加时间戳的 WITH 语句中定义的：

我们有我们的 Azure 流分析设置，以便它

1. 有一个输入：Azure 存储 Blob（别名：blobinput）

2. 有一个输出：PowerBI（别名：powerbioutput）

3. 有一个查询

   SELECT * INTO powerbioutput FROM blobinput TIMESTAMP BY RequestDateTime

4. 运行 Azure 流分析作业。

我们能够写入 PowerBI 并且数据集和表被适当地填充。

为了对我们的数据进行适当的分析，我们需要从我们的数据集中创建一些派生表和列，但是

• 我们似乎无法从PowerBI网站上找到为此数据集和表定义 DAX 查询的位置。
• 我们似乎无法找到将 Azure 流分析创建的数据集导出到 PowerBI 桌面应用程序的方法。
• 我们无法在 PowerBI 中创建写入相同数据集但不同表的多个 Azure 流分析作业输出。

背景

我已经根据此处和此处的教程使用 Azure 事件中心和 Azure 流分析 (ASA) 建立了一个 IoT 项目。JSON 格式的消息使用 webhook 从启用 wifi 的设备发送到事件中心，然后通过 ASA 查询提供，并根据它们来自的输入流存储在三个 Azure SQL 数据库之一中。

该设备 (Particle Photon) 传输 3 条具有不同有效负载的不同消息，为此定义了 3 个 SQL 表用于长期存储/分析。下一步包括实时警报和通过 Power BI 进行的可视化。

这是这个想法的直观表示：

ASA 查询

问题：对于收到的每条消息，数据都被推送到数据库中的所有三个表中，而不仅仅是查询中指定的输出。数据所属的表按预期填充了一个新行，而另外两个表则填充了不存在数据的列的 NULL。

从ASA 文档中，我了解到 INTO 关键字会将输出定向到指定的接收器。但情况似乎并非如此，因为所有三个输入的输出都被推送到所有接收器（所有 3 个 SQL 表）。

我为 Particle Photon 编写的测试脚本将发送带有硬编码字段的每种类型的消息之一，顺序为：EnvState、Event、ConsLevels，每隔 15 秒重复一次。

以下是发送到所有表的输出示例，显示每个表的一列：

这是使用此查询生成的（在 Visual Studio 中）：

对于 TpEnvStateInput 类型的输入事件，其中存在键“PH”（而不是键“EventCode”或“FreshWater”，它们分别属于 TpEventInput 和 TpConsLevelInput），只需要进入 EnvironmentState 表。

问题： ASA 查询中是否存在错误，或者我对如何使用/设置 ASA 存在误解？

我希望我不必定义三个单独的流分析容器，因为它们往往相当昂贵。在运行完本教程并让 4 个 ASA 容器运行一天后，我用掉了近 5 美元的 Azure 积分。预计每月 150 美元的成本，我无法证明坚持使用 Azure 是合理的。

我正在尝试从物联网设备收集数据，因为现在我正在使用此代码来模拟设备。远程监控。它发送数据，我可以在仪表板中设置数据。接下来是我想将数据保存到 SQL 数据库。我正在考虑使用流分析来完成这项工作。我现在遇到的问题是，当我选择 ioT HUB 作为输入时，我得到了错误

请检查输入源配置是否正确，数据格式是否正确。

如果在发送之前需要将某些特殊内容添加到我的 JSON 对象中，我正在尝试查找文档。

我正在将事件转发到 Azure 事件中心，并且我想在流分析中处理它们。我创建了一个新的输入，它从这个事件中心读取并输出到表存储。从输入中采样数据时，我收到以下消息：

“在指定的时间范围内，‘输入’中没有发现任何事件。”

但是事件中心中有消息：

我什至创建了一个简单的项目来查询同一个事件中心，它返回数据：

我在另一个地方有完全相同的解决方案。不明白为什么流分析无法在 Event Hub 中看到数据！？（测试事件中心连接工作正常）。