目前我正在研究 Apache Hadoop（使用 Java 实现 MapReduce 作业）。我查看了一些示例（例如 WordCount 示例）。我在编写自定义 mapreduce 应用程序方面取得了成功（我正在使用 Cloudera Hadoop Demo VM）。我的问题是关于一些实现和运行时的问题。
作业类的原型如下：
public class WordCount {
public static class Map extends MapReduceBase implements Mapper<LongWritable, Text, Text, IntWritable> {
public void map(LongWritable key, Text value, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException {
// mapping
}
}
}
public static class Reduce extends MapReduceBase implements Reducer<Text, IntWritable, Text, IntWritable> {
public void reduce(Text key, Iterator<IntWritable> values, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException {
// reducing
}
}
public static void main(String[] args) throws Exception {
JobConf conf = new JobConf(WordCount.class);
conf.setJobName("wordcount");
// setting map and reduce classes, and various configs
JobClient.runJob(conf);
}
}
我有一些问题，我试着用谷歌搜索它们，但我必须说 hadoop 上的文档非常正式（就像一本大参考书），不适合初学者。
我的问题：
- Map 和 Reduce 类是否必须是 Main 类中的静态内部类，或者它们可以在任何地方（仅从 Main 可见？）
- 你能像在普通的 Java SE 应用程序中那样使用 Java SE 和可用库必须提供的任何东西吗？我的意思是，像 JAXB、Guava、Jackson for JSON 等
- 编写通用解决方案的最佳实践是什么？我的意思是：我们希望以不同（但略有相似）的方式处理大量日志文件。日志文件的最后一个标记始终是带有一些条目的 JSON 映射。一种处理可能是：根据 (keyA, keyB from map) 上的日志行计数和分组，另一种处理可能是：根据 (keyX, keyY from map) 上的日志行计数和分组。（我正在考虑一些基于配置文件的解决方案，您可以在其中为程序提供实际必要的条目，如果您需要新的解决方案，您只需提供配置并运行应用程序）。
- 可能相关：在 WordCount 示例中，Map 和 Reduce 类是静态内部类，main() 对它们的影响为零，只是将这些类提供给框架。你能不能让这些类成为非静态的，提供一些字段和一个构造函数来用一些当前值改变运行时（比如我提到的配置参数）。
也许我在不必要地挖掘细节。总体问题是：hadoop mapreduce 程序仍然是我们习惯的普通 JavaSE 应用程序吗？