apache-spark - Apache Drill - 内存/流作为数据源

Question

这可能滥用了 Drill 的精神，但我想知道是否有人尝试将钻取查询指向内存或数据流。

也许：

local> select columns[0], avg(columns[5]) from dfs.`tail -f /users/home/carl/incoming.log` group by columns[0], columns[5];

让它更像“火花”？

Answer 1

这在带有文件的 Drill 中不起作用。但是，Drill 1.12 增加了对 Kafka 的支持。因此，您可以对 Kafka 主题https://github.com/apache/drill/tree/master/contrib/storage-kafka中的数据流执行查询。