csv - 运行 hadoop/mapReduce 时出现 ClassNotFoundException

Question

在我的 MapReduce 项目中，我使用 apache-commons CSVParser 逐行解析 CSV 文件并提取我感兴趣的字段。

我在 Eclipse 中使用 Maven 导入依赖项，并使用 eclipse 将项目导出为 jar 文件。jar 文件包含所有依赖项。我很好奇为什么hadoop仍然抛出以下异常：

错误：java.lang.ClassNotFoundException：org.apache.commons.csv.CSVParser

我在 Windows 机器上，还有其他更好的制作 jar 文件的方法吗？

Answer 1

首先，您可以将 CSV jar 放入类路径并编译您的 mapreduce 作业类。如果它比在运行 mapreduce 作业时编译正确，还要在 hadoop 命令中添加这个 jar。