0

我知道可以通过 hadoop 从 mongodb 读取和写入数据。

我想知道这个适配器在从 mongodb 集合读取数据时是否使用 mongodb 的本机驱动程序,所以它使用 mongod 实例还是这个适配器直接读取数据集合?

另外,当hadoop读取mongodb的数据以在map reduce中进行处理时,hadoop的这个map reduce不会锁定mongodb的数据收集吗?

换句话说,当hadoop读取mongodb的数据时,hadoop保存这些数据以供hadoop使用,并且hadoop不会干扰mongodb数据,因为当hadoop执行mapreduce时,它会处理mongodb检索的数据,但将内部保存在hadoop进行处理?

4

1 回答 1

1

使用 mongo-hadoop 插件不会在 Hadoop 中缓存或保存数据。

相反,每个块都作为单独的输入拆分读入 Hadoop,以并行化 Hadoop MapReduce 作业。

mongodb 中发生的唯一锁定是轻读锁定,因为数据是从 Mongo 读取的。

于 2012-03-26T20:50:29.613 回答