java - 选择什么技术？Spring Batch 还是 Hadoop？

Question

我需要每天处理 300 GB 的日志文件 ( Import-> Convert to other format-> Upload)。

选择哪种技术最好？Spring Batch还是Apache Hadoop？我对这些技术很陌生，无法追踪那里的限制。此外，文件大小可能会无限增长。除此之外，我需要使用给定的硬件设计应用程序 3 Sun Blade Servers with Disaster Recovery 方法。请建议。

Answer 1

如果只是文件格式转换，那么使用 Hadoop 是没有意义的，除非你可以将文件分成可以以令人尴尬的并行方式分布的块。

此外，如果您不需要进一步存储/索引/处理这些信息，则无需将其存储在某个地方。

最后但并非最不重要的一点是，评估将文件分解为单元的成本作为整体计算成本的一部分。