hadoop - 在 Scala Play 框架中找不到 Hadoop MR 映射器类

Question

我正在尝试在 Play 2.0.1 scala 中运行 MR 作业，但我无法在作业类路径中加载映射器类。每次我在 hadoop 中运行作业时，我都会得到一个 classnotfoundexception。我已经（以几种不同的方式）添加了对类的引用以加载相应的 jar，但没有成功。任何线索将不胜感激。

谢谢！-卡洛斯。

Answer 1

我假设您正在从开发模式运行 MR 作业。从播放开发模式运行 MR 作业存在几个问题。问题之一是在 TaskTracker 节点上找不到映射器/减速器类，因为尚未创建带有映射器/减速器的 jar。这是我的解决方案：

http://ben-tech.blogspot.com/2013/04/run-mapreduce-in-play-development-mode.html

另一个问题是由 Play run 命令中使用的类加载器引起的。运行命令会创建一个仅具有依赖项 jar 的类加载器，因此当您使用 Class.forName 时，您的类不在类路径中。我还没有解决方案。