mapreduce - 在 mapreduce 中使用错误文件杀死映射器

Question

您好，我需要杀死包含错误文件的映射器。当文件在映射器中解析时，如果文件包含错误，它应该终止当前映射器并丢弃文件。其他文件正确的映射器应该继续，整个工作应该成功。

Answer 1

根据文件输入格式，映射器可能会或可能不会一次处理整个文件。通常每个映射器都会一次处理一个拆分。

如果有任何解析问题，您可以简单地跳过处理记录并从映射器返回。无需杀死映射器。如果您杀死该映射器，MapReduce 作业将失败。

因此，只需跳过处理并从映射器返回。