0

我想创建一个 java 应用程序。可以部署在Hadoop上,目的如下:

  • 我有很多来自各种服务器的较大日志文件(Tuxedo 日志、Websphere 日志和 IIS 日志)
  • 我想分析这些大文件以生成报告,其中指出来自 Tux 的许多错误,来自 Websphere 的许多是错误/警告等

所以我现在需要帮助,我有限的 Hadoop 知识

  • 大多数地图减少算法。适用于相同类型的文件,在我的情况下,日志文件来自各种来源(Tux、Websphere、IIS 等)
  • 在这种情况下如何设计我的 map() 和 reduce() 函数
  • 如何存储日志报告(例如:来自 Tux 的错误/警告,来自 Websphere 的错误/警告/信息)组合等

提前致谢

4

1 回答 1

0

apache flume 是这种情况的答案

于 2012-08-20T11:01:04.530 回答