real-time - 可以将原始半结构化数据作为输入的实时计算解决方案有哪些？

Question

是否有任何技术可以获取原始的半结构化、无模式大数据输入（例如来自 HDFS 或 S3），对其执行近实时计算，并生成可以查询或插入 BI 工具的输出？

如果没有，是否有人至少在努力在未来一两年发布？

Answer 1

有一些解决方案具有大的半结构化输入和查询输出，但它们通常是

1. 独特的

2. 昂贵的

3. 足够秘密

如果您能够避免使用神经网络或专家系统进行直接计算，那么您将足够接近低延迟系统。你所需要的只是一个出色的数学家团队来为你的问题建立模型，一个程序员团队用代码实现它，以及一些现金来购买服务器并为它们获得所需的输入/输出通道。

Answer 2

你看过Splunk吗？我们使用它来分析 Windows 事件日志，Splunk 在索引这些信息方面做得非常出色，以便快速查询出现在数据中的任何字符串。