java - 在映射器中逐行从 HDFS 读取文本文件

Question

Mappers 的以下代码是从 HDFS 读取文本文件吗？如果是：

1. 如果不同节点的两个映射器几乎同时打开文件会发生什么？
2. 不需要关闭InputStreamReader吗？如果是这样，如何在不关闭文件系统的情况下做到这一点？

我的代码是：

Path pt=new Path("hdfs://pathTofile");
FileSystem fs = FileSystem.get(context.getConfiguration());
BufferedReader br=new BufferedReader(new InputStreamReader(fs.open(pt)));
String line;
line=br.readLine();
while (line != null){
System.out.println(line);

Answer 1

这将起作用，并进行一些修改 - 我假设您粘贴的代码只是被截断：

Path pt=new Path("hdfs://pathTofile");
FileSystem fs = FileSystem.get(context.getConfiguration());
BufferedReader br=new BufferedReader(new InputStreamReader(fs.open(pt)));
try {
  String line;
  line=br.readLine();
  while (line != null){
    System.out.println(line);

    // be sure to read the next line otherwise you'll get an infinite loop
    line = br.readLine();
  }
} finally {
  // you should close out the BufferedReader
  br.close();
}

您可以让多个映射器读取同一个文件，但是使用分布式缓存更有意义是有限制的（不仅减少了托管文件块的数据节点上的负载，而且效率更高如果您的工作任务数量多于任务节点）

Answer 2

import java.io.{BufferedReader, InputStreamReader}


def load_file(path:String)={
    val pt=new Path(path)
    val fs = FileSystem.get(new Configuration())
    val br=new BufferedReader(new InputStreamReader(fs.open(pt)))
    var res:List[String]=  List()
    try {

      var line=br.readLine()
      while (line != null){
        System.out.println(line);

        res= res :+ line
        line=br.readLine()
      }
    } finally {
      // you should close out the BufferedReader
      br.close();
    }

    res
  }