问题标签 [stream-analytics]

我已经看到在特定日期从流分析作业向 cosmos DB 写入大量数据。它不应该在一天内写出大量的文件。我必须检查那一天是否有重复的文件。

是否有任何查询/任何方法可以找出 cosmos DB 中的重复记录？

我想知道是否可以有一个用户定义的 .js，从我的流分析中的 Json 字符串解码 Base64。我有多少自由可以使用任何 js 函数，或者是否有预设数量的函数可以使用。我尝试使用 atob()，但 SAnalytic 告诉我：

函数 'base64decod' 导致错误：'ReferenceError: 'atob' is not defined' Stack: ReferenceError: 'atob' is not defined at main (Unknown script code:3:4)

UDF：

询问：

JSON 片段：

非常感谢您的帮助！

我尝试从正在运行的 Azure 流分析作业中获取样本数据。作业运行成功，输出成功写入 cosmos DB。

但是当我尝试从流输入中获取样本数据时，采样失败并且我遇到了错误。

错误代码：BadArgument
错误消息：读取示例输入时出错。请检查输入源配置是否正确，数据格式是否正确。

如果是因为数据格式的原因，作业应该也失败了吧？

我尝试从另一个使用相同事件中心的 SA 作业中获取样本，但唯一不同的是，它使用不同的消费者组，因为我能够获取样本数据。

由于作业使用该输入成功工作，因此失败的原因可能是什么？消费组有什么需要改正的吗？

是否有任何解决方法可以通过一些过滤从 eventthub 获取样本数据？

我创建了一个 Azure 流分析作业，它将从 EventHub 获取输入数据并写入 cosmosDB 和 Blob。

我有时会看到来自 eventHub 的数据是重复的，因此重复的数据将被写入 cosmosDB 和 Blob 存储。

下面显示了从 EventHub 到流分析的示例输入数据。

在上面的示例中，idnum: 00086XXX02的事件重复了 3 次。

我正在做以下分析并获得重复的输出。

输出将如下所示，其中“idnum”存在重复事件：“00086XXX02”

预期的输出将是没有重复的事件（对于提供的示例，“idnum”：“00086XXX02”不应该有重复的事件）

在将数据写入存储之前，我想删除重复的事件。可以从流分析中进行吗？

创建具有唯一 ID 的 cosmos DB 集合是 Cosmos 端的解决方案，但是这里的表已经存在，我们可以从流分析端做任何事情吗？

我需要在流分析作业中将 Gzip 压缩选项设置到我的 EventHub 输入上以使其进行处理。

该文档在 SA 作业事件中心输入规范中没有可用的“压缩”选项。

https://www.terraform.io/docs/providers/azurerm/r/stream_analytics_stream_input_eventhub.html

已选择 GZip 压缩的事件中心的 Azure SA 作业输入的屏幕截图

有没有人设法做到这一点？提前致谢！

我尝试通过添加一个临时结果集来修改现有的 Azure 流分析作业。但是当我运行 SA 作业时，它会引发运行时错误，并且水印延迟会增加。

以下是流分析作业中的现有 SAQL：

我尝试将以下临时结果集添加到 SAQL：

现在，当我启动 SA 作业时，它会引发运行时错误。

当我获取以下日志时，是我收到的错误日志。

对于 SA 作业，输入信号 2有一个专用的消费者组 ( consumergrp01 )

对于此流分析作业，可以使用专用的使用者组。此使用者组的分区上有 3 个读取器，但由于最大事件中心接收器超过，它仍然抛出错误。为什么会这样？

我有一个从iothub 到流分析（SA）的输入。此输入包含蓝牙设备检测到的数据，我将它们存储在名为InputMessages的表中的数据库（SA 的输出）中。问题是我有另一个表（Devices），其中包含它必须检测的设备。它的主键是检测到的设备的 MAC，也与 FK 的inputMessages相关。有时我在流分析输入中有错误，因为检测到的设备不在设备表中。我正在尝试对 SA 查询进行过滤，以避免发生这种情况，使用此代码丢弃不在 Devices 表中的设备中的消息，但它不起作用。

查询如下所示：

有什么建议吗？

在我的 Azure 流分析作业中，想要限制在一天中的特定时间后发送到服务总线队列的事件。

SA查询：

如何为“时间 < 1PM”编写查询？

我创建了一个 ASA 作业，还创建了一个输入（eventhub）和 6 个输出（2 个 cosmos 和 4 个服务总线队列），查询如下所示。SA 允许编写超过 5 个查询，但在活动日志中给出错误。因此我也得到了水印延迟。

问题：

如何以有效的方式编写超过 5 个查询？提前致谢！

我需要将简单的 json 遥测数据包转换为自定义 json 输出。你能帮我实现这一目标吗？

输入流分析

流分析的输出应如下所示

}