2

我有许多系统，其中大多数能够使用 JSON Activity Streams[1] 生成数据（或者可以强制这样做），我想使用这些数据进行分析。

我想将传统的 SQL 数据集市用于 OLAP，并将原始 JSON 数据转储到 Hadoop 中以运行批处理 mapreduce 作业。

我一直在阅读 Kafka、Flume、Scribe、S4、Storm 和一大堆其他工具，但我仍然不确定哪个最适合手头的任务。这些似乎要么专注于日志文件数据，要么专注于活动流的实时处理，而我想我对在活动流上进行 ETL 更感兴趣。

我正在考虑的设置类型是我为我感兴趣的所有流（URL、参数、凭据）提供配置，并且该工具会定期轮询它们，将输出转储到 HDFS 中，并且还有一个钩子让我处理和转换 JSON 以插入数据集市。

是否有任何现有的开源工具特别适合这种情况？

（就规模而言，我预计最多有 30,000 名用户与约 10 个系统交互 - 不是同时 - 所以不是真正的“大数据”，但也不是微不足道的。）

谢谢！

[1] http://activitystrea.ms/

4

1 回答 1

0

你应该看看streamsets.com

它是专为此类用例构建的开源工具（且免费使用）。

您可以使用 HTTP 客户端源和 HDFS 目标来实现您的主要目标。如果您决定还需要使用 Kafka 或 Flume，那么对两者的支持也是内置的。

您还可以通过多种方式进行转换，包括编写 python 或 javascript 以进行更复杂的转换（或者您自己的 Java 阶段，如果您选择）。

您还可以查看 logstash ( elastic.co ) 和NiFi，看看其中一个是否更适合您。

*完全披露，我是 StreamSets 的工程师。

于 2015-11-06T00:24:45.397 回答