我想创建一个 java 应用程序。可以部署在Hadoop上,目的如下:
- 我有很多来自各种服务器的较大日志文件(Tuxedo 日志、Websphere 日志和 IIS 日志)
- 我想分析这些大文件以生成报告,其中指出来自 Tux 的许多错误,来自 Websphere 的许多是错误/警告等
所以我现在需要帮助,我有限的 Hadoop 知识
- 大多数地图减少算法。适用于相同类型的文件,在我的情况下,日志文件来自各种来源(Tux、Websphere、IIS 等)
- 在这种情况下如何设计我的 map() 和 reduce() 函数
- 如何存储日志报告(例如:来自 Tux 的错误/警告,来自 Websphere 的错误/警告/信息)组合等
提前致谢