hadoop - 在 Hadoop 的 Java 中创建 CombineFileSplit？

Question

CombineFileSplit 有一个构造函数：

CombineFileSplit(Path[] files, long[] start, long[] lengths, String[] locations) 

位置数组是否必须与文件数组的大小相同，因为文件可以驻留在许多位置/节点中？

Answer 1

位置数组不必与文件数组大小相同，因为从 FileSplit 的构造函数中： public FileSplit(Path file, long start, long length, String[] hosts) 你可以得出一个文件可以有很多位置的结论/主机。此外，如果您看到 CombineFileSplit 的构造函数的源代码，您可以传递一个空字符串数组。我认为位置数组是供你使用的，所以如果你知道文件的位置，你可以提供它或传递空字符串。