apache-kafka - 如何进行实时数据分析？

Question

我曾与 R 一起进行数据分析以制作预测模型。现在我需要为实时数据分析构建解决方案。这是从数据中找到模式并在某些情况发生时显示警报。

Like if I am receiving RSSI from the sensors. First find patterns if it has any relation with battery level and show alert if the live data shows that pattern from live RSSI data.

我做了一些搜索，在 Quora 上的一个回复中，提到了一个链接工具Kafka来做这些事情。我没有任何使用 Kafka 的经验。

如何才能做到这一点？

Answer 1

您可以从探索KSQL开始吗？不知道您的架构是对带有实时 RSSI 数据的理论 Kafka 主题的天真查询：

CREATE STREAM rssi_data 
    (device_id VARCHAR,
     battery_level INT,
     SIGNAL FLOAT)
 WITH (TOPIC='rssi_data', VALUE_FORMAT='json', KEY='device_id');

然后查询它：

CREATE STREAM low_battery_devices AS SELECT * FROM rssi_data WHERE battery_level < 20;

这将创建一个名为的新 Kafka 主题low_bettery_devices，其中包含电池电量较低的设备的事件。然后，您当然可以使用另一个 KSQL 查询、R 程序或其他一些下游 Kafka 兼容系统来使用该主题。