java - 在单节点集群上使用分布式缓存和 FileReader

Question

是需要多节点集群还是单节点集群就足以使用分布式缓存。FileReader 是否可以通过给出文件路径直接打开存储在 HDFS 中的文件。

Answer 1

这实际上不是必须的。使用分布式缓存的主要目的是使资源可用于在整个集群的所有节点上运行的所有映射器或减速器，这在单台机器上没有多大意义。在单节点 hadoop 集群上，您可以在 mapreduce 代码中有一个全局变量，这样就可以了。