我有一个 mapreduce 作业,它将 HDFS 上的一堆文件作为输入并生成一些统计信息。它运行良好,没有问题。但是,当我将 jvm 重用属性“mapred.job.reuse.jvm.num.tasks”设置为“-1”或小整数(例如 5)时,许多映射器失败并显示以下错误消息
ENOENT:在 org.apache.hadoop.io.SecureIOUtils.createForWrite(SecureIOUtils.java:161) 在 org.apache.hadoop.org.apache.hadoop.io.nativeio.NativeIO.open(Native Method) 没有这样的文件或目录.mapred.TaskLog.writeToIndexFile(TaskLog.java:296) at org.apache.hadoop.mapred.TaskLog.syncLogs(TaskLog.java:369) at org.apache.hadoop.mapred.Child.main(Child.java:229 )
谁能给我一些关于它发生的原因以及如何解决这个问题的提示。
谢谢,