问题标签 [streaming-analytics]

我想在 HANA 流分析上做小型 POC 或项目。

谁能建议我在哪里可以获得样本数据以继续或开始？

问候 ，

戒律

我通过流式分析和使用捕获的事件中心在我的 Data Lake Store 中收到了一个 Avro 文件。

该文件的结构如下所示：

[{"id":1,"pid":"abc","value":"1","utctimestamp":1537805867},{"id":6569,"pid":"1E014000","value": "-5.8","utctimestamp":1537805867}] [{"id":2,"pid":"cde","value":"77","utctimestamp":1537772095},{"id":6658, "pid":"02002001","value":"77","utctimestamp":1537772095}]

示例文件

我用过这个脚本：

该脚本会生成一个文件，但其中仅包含分隔逗号且没有值。

如何提取/转换此结构，以便可以将其输出为扁平的 4 列 csv 文件？

我是 Azure 的新手，我正在尝试了解流分析的规则引擎。请您帮我理解以下内容。

1) 为复杂规则定义实现 JSON 格式 2) 为时间序列流程/规则实现 JSON 格式 3) 在 ASA 中实现复杂规则 4) 在 ASA 中实现时间序列规则

问候

使用以下字段创建流

将 pageid 与以下值一起更改为大写。

结果

现在我想要的是必须修改和提取条件满足的数据以及剩余的字段值，如下所示

你能帮我解决这个用例吗

带有 modbus 模块的 IoT Edge v2 以以下格式向 IoT 中心发送数据：

我想使用包含CROSS APPLY GetArrayElements()的流分析查询将此数组转换为行，但此函数需要数组名称。显然没有名字。有什么建议么？

https://docs.microsoft.com/en-us/stream-analytics-query/getarrayelements-azure-stream-analytics https://docs.microsoft.com/en-us/azure/stream-analytics/stream-analytics -解析-json

我有一个 CSV 文件，我想在 WS02 流处理器中加载以模拟事件。我有一个名为“结果”的列。这是 CSV 文件中的字符串列。

在 WSO2 流处理器中，我尝试将传入的 Result 字符串转换为 double 或 float。但这不起作用。我还尝试以某种方式更改 CSV 文件。例如，我尝试使用 excel 中的“格式单元格”选项将其设为双精度或小数，但这不起作用。

下面是我在 WSO2 中尝试过的代码。这是结果值的示例：159,321它最多有 6 位数字。逗号前后最多 3 位数字。

我收到以下错误：

我在 Siddhi 中编写了一些代码，用于记录/打印一批最后 100 个事件的平均值。所以事件 0-100、101-200 等的平均值。我现在想将这些平均值相互比较以找到某种趋势。首先，我只想看看对于一定数量的平均值是否存在一些简单的下降趋势。例如，我想将所有平均值与所有即将到来的 1-10 平均值进行比较。

我查看了 Siddhi 文档，但没有找到我想要的答案。我尝试了一些分区解决方案，但这不起作用。下面的代码是我现在所拥有的。

我一直在努力设置一个Datastream<Tuple3<Integer, java.sql.Time, Double>>从 csv 文件创建一个 flink 应用程序。此文件中的列（columns ID, dateTime and Result）都是 String，但它们应转换为 Integer、java.sql.Time 和 Double。我想要的另一件事是使用每天的数据创建翻滚窗口并平均该result窗口中列的值。问题是我不知道它的确切语法。请参阅我尝试过的代码。最后一部分我有 sum(2)，但我想计算窗口的平均值。我没有在文档中看到此功能。我需要为此自己编写一个方法吗？

问题

我们希望使用 Google Cloud 中的数据流管道从 Azure 中的 EventHub 主题中消费。

问题

是否知道 KafkaIO 是否允许在 Apache Beam/Google Cloud 数据流作业中直接从 EventHubs 消费？（见这篇文章）

将 EventHub 数据导入 Pub/Sub 的替代方法也值得赞赏（例如，从 Azure Streaming Analytics 发布到 Pub/Sub）

谢谢！

我有一个带有不同键的消息流。对于每个键，我想创建一个事件时间会话窗口并仅在以下情况下对其进行一些处理：

• MIN_EVENTS窗口中累积的事件数（本质上是键控状态）

对于每个键，MIN_EVENTS都是不同的，并且可能在运行时发生变化。我很难实现这一点。特别是，我正在实现这个逻辑，如下所示：

我正在尝试创建一个MyCustomCountTrigger()应该能够从状态存储中读取的自定义，例如MapState<String, Integer> stateStore映射key到它的MIN_EVENTS参数。我知道我可以使用TriggerContext ctx所有触发器都可用的对象访问状态存储。

如何从 CountTrigger() 类外部初始化此状态存储？我还没有找到这样做的例子。