mongodb - hadoop mongodb 连接器 - 输出数据不是 mongodb 而是 hdfs

Question

是否可以从hadoop mongodb插件连接器读取mongodb数据，使用mapreduce hadoop处理数据，以及当输出结果不使用hadoop mongodb插件连接器但在hdfs中保留mapreduce hadoop的结果时？

Answer 1

我认为这个关于 SO 的先前答案回答了你的问题，但有一个微小的变化：

是否可以读取 MongoDB 数据，使用 Hadoop 对其进行处理，并将其输出到 RDBS(MySQL) 中？

主要区别在于您可以将 OutputFormatClass 设置为：

job.setOutputFormatClass( SequenceFileOutputFormat.class );

您还需要在要将数据保存到的 HDFS 上设置输出路径。有关完整代码示例，请参阅他们的WordCount示例，但使用上面的作为输出格式而不是 MongoOutputFormat。