hadoop - Hadoop 输入拆分转储

Question

当某个特定任务失败时，我们能否获得运行该任务的输入拆分的转储，以便我们可以在输入的该部分本地运行该作业并进行远程调试？

Answer 1

您可以在映射器的设置中写入有关输入拆分的信息。示例FileInputFormat：

    @Override
    protected void setup(Context context) throws IOException, InterruptedException {
        FileSplit inputSplit = (FileSplit) context.getInputSplit();
        System.out.println(inputSplit.toString());
    }