问题标签 [stream-analytics]

我正在尝试创建一个使用 StreamAnalytics 的 SlidginWindow 函数并在 5 分钟内输出五个以上事件的查询

虽然用下面的代码可以统计是否有记录，但是这种情况是1记录5事件所以不能用

我有一个流分析作业，它从外部源获取数据（我对数据的格式没有发言权）。我正在尝试将数据导入我的数据湖，并存储为 JSON。这工作正常，但我也想以 CSV 格式获取输出，这就是我遇到问题的地方。

由于输入数据有一个数组作为列之一，因此在导入 JSON 时，它会识别它并提供正确的数据，即将它们放在括号 [A、B、C] 中，但是当我在 CSV 中使用它时，我会得到表示的列作为“数组”这个词。我想我会将它转换为 XML，使用 STUFF 并将它们放在一行中，但它不喜欢在 CROSS APPLY 中使用 SELECT 语句。

有没有人使用流分析将数据导入 CSV，具有数组列？如果是这样，您是如何设法导入数组值的？

样本数据：

PG 是我要提取的列，因此输出 CSV 应该类似于。

这是我正在使用的查询，

正如你所想象的，这给了我这种格式的结果。

我正在使用 azure 流分析，并希望将多个输入同时分组到一个输出。 电流输出

我如何修改它打印的代码，例如在第一行：

我正在使用 Azure 流分析。我有数据进入事件中心。进来的数据如下：

流分析任务是查看数据并确定传入的坐标是否位于特定多边形中。我已经让 ST_WITHIN 查询工作了。我有一个包含我想要的所有多边形的参考 blob。麻烦就在于此。我需要检测坐标何时在多边形中以及它在多边形中的时间。

数据大约每分钟传输一次。我每分钟都会得到一个新坐标。我知道如何检测它最初何时位于多边形中。我的斗争是我怎么知道它在多边形中已经存在了多长时间？我尝试过 LAST、LAG、ISFIRST，但无济于事。目标如下：

1. 数据进来
2. 你在多边形中吗？
3. 是的？你在多边形里多久了？我在这里知道我需要了解它何时首次出现在多边形中。但是，正如您从上面的数据中看到的那样，数据可能在 24 小时前就在多边形中，现在它又在那里了。我只是不知道如何构造一个查询来找出我何时在多边形中以及多长时间。有人可以帮忙吗？

我有一系列动态数据正在由流分析作业处理。我可以显式查询一些统一属性，但大部分有效负载在查询时属于未知类型。我的目标是获取这些未知数据（记录）并将所有属性提升到写入 Azure 表的结果查询中的顶级字段。

我能够展平记录的属性，它总是作为子对象添加到查询中。GetRecordProperties()没有帮助，因为我不希望为每个属性返回单独的记录。

我的查询如下所示：

我得到的结果记录看起来像这样。这个想法是让payload嵌套对象中的所有内容不被嵌套，因此每个属性在 Azure 表中都有自己的列。

这可能吗？UDFFlattenCustomDimensions接受一组项目并将它们作为属性公开。UDFExtractJsonWebhookPayload采用字符串并将其转换为 JSON，而 UDF采用复杂的 JSON 对象并创建您在结果中的对象中FlattenWebhookPayload看到的点语法。payload

我的最终目标是获得如下所示的结果集：

除非有人有更好的想法/选择。

在我有时间获得摄取策略和流程设置之前，我开始收集最终将通过流分析工作的数据。现在我坐在一个 Azure blob 存储容器上，其中包含超过 500,000 个 blob（无文件夹组织），另一个包含 300,000 个，其他一些包含 10,000 - 90,000 个。

生产收集过程现在将这些 blob 以YYYY-MM-DD/HH格式写入不同的容器，但这只是向前发展的好方法。我拥有的这些存档数据对于进入我的系统至关重要，我想稍微修改一下现有生产 ASA 作业的输入，这样我就可以在查询、函数和其他依赖项中利用相同的逻辑。

我知道 ASA 不喜欢超过几百 / 千的批次，所以我正在尝试寻找一种方法来暂存我的数据，以便在 ASA 下正常工作。这将是一次运行...

一个想法是编写一个脚本来查看每个 blob，查看 blob 中的时间戳并重新创建YYYY-MM-DD/HH文件夹设置，但根据我的经验，当 blob 的 lastModified 时间与它的文件夹不匹配时，ASA 作业将失败在...

任何建议如何解决这个问题？

编辑：未能提及（1）这些容器中没有文件夹......所有 blob 都位于容器的根目录中，并且（2）我LastModifiedTime的 blob 不再有用或有意义。后者的原因是这些 blob 是从多个其他容器中收集的，并使用 Azure CLIcopy-batch命令合并在一起。

我正在使用流分析来加入流数据（通过 IoT 中心）和参考数据（通过 blob 存储）。参考数据 blob 文件每分钟使用最新数据生成，格式为“filename-{date} {time}.csv”。参考 Blob 文件数据在 Azure 机器学习函数中用作 SA 作业中的参数。流分析作业的输出（到 Azure SQL 或 Power BI）似乎生成了多行，而不是为 Azure 机器学习函数的输出生成一行，每一行用于来自先前 blob 文件的参数值。我的理解是它应该只使用最新的 blob 文件内容，但看起来它正在使用所有 blob 文件并从 AML 输出生成多行。这是我正在使用的查询：

SELECT AMLFunction(Ref.Input1, Ref.Input2), * FROM IoTInput Stream LEFT JOIN RefBlobInput Ref ON Stream.DeviceId = Ref.[DeviceID]

请您建议是否需要更改查询或文件路径以避免重复记录？谢谢

我在从 Azure IOT Hub 到 Azure 流分析 (ASA) 到 Power BI 的事件中提取数据时遇到问题。

下面是进入 Azure IOT Hub 的源示例：

我可以通过 ASA 直接查询将其推送到 Power BI：

结果是： PBI 数据集的屏幕截图

但我似乎无法剥离 ASA 中的数据点，以便将每个键/值对传递给 Power BI。我尝试了一些不同的方法，例如：

我需要对从 IOT 传感器（CEP、异常值检测等）获取的数据进行一些数据分析

我在互联网上搜索，根据我们的限制找到我可以使用的工具：

• 我团队中的所有开发人员都是 C# 开发人员
• 解决方案必须在本地部署

根据我在上面阅读的内容，我发现 Apache Storm 是一个很好的解决方案，我们可以通过安装 azure 数据湖工具从 Visual Studio 开发 spout、bolts。

我安装了所有东西并开始开发一个简单的拓扑。问题是似乎只能将拓扑部署到 Azure HD Insights

我的问题：是否可以将 ac# 拓扑部署到不在 Azure 中的风暴集群？我想提交以将我的拓扑提交到 Storm docker 映像。

我正在尝试使用 Azure 流分析进行一些 POC。我想从 Azure 事件中心读取数据并将其存储到 Azure Blob 存储。我使用本指南。问题是，当我定义流输入（作为我现有的事件中心）时，我看到流分析仅支持 3 种序列化格式：JSON、Avro 和 CSV。我的事件序列化格式是 Bond，我无法更改它。有什么方法可以连接到流分析并定义一些可以应用的转换？