我有许多系统，其中大多数能够使用 JSON Activity Streams[1] 生成数据（或者可以强制这样做），我想使用这些数据进行分析。
我想将传统的 SQL 数据集市用于 OLAP，并将原始 JSON 数据转储到 Hadoop 中以运行批处理 mapreduce 作业。
我一直在阅读 Kafka、Flume、Scribe、S4、Storm 和一大堆其他工具，但我仍然不确定哪个最适合手头的任务。这些似乎要么专注于日志文件数据，要么专注于活动流的实时处理，而我想我对在活动流上进行 ETL 更感兴趣。
我正在考虑的设置类型是我为我感兴趣的所有流（URL、参数、凭据）提供配置，并且该工具会定期轮询它们，将输出转储到 HDFS 中，并且还有一个钩子让我处理和转换 JSON 以插入数据集市。
是否有任何现有的开源工具特别适合这种情况？
（就规模而言，我预计最多有 30,000 名用户与约 10 个系统交互 - 不是同时 - 所以不是真正的“大数据”，但也不是微不足道的。）
谢谢！